1565年，饭富虎昌迎娶了今川氏女儿的义信计划谋反，原因是父亲武田信玄在桶狭间会战时战死。而今川氏真作为义元的接班人，是个只知道贪图享乐的俗人。在当时那个弱肉强食的社会里，缺少了义元作后盾的今川家就像是砧板上的肉，只能任人宰割。信玄希望吃掉今川家这块肥肉，于是和饭富虎昌商量。与此同时，在川中岛合战中因为延误战机几乎导致信玄战死而失宠的义信也来找到饭富虎昌，希望饭富虎昌能够像当年帮助父亲一样帮助自己得到家督的位置。不幸的是他们之间的谈话被虎昌的弟弟饭富源四郎（山县昌景）听到。在忠与孝两难中选择了忠的富源四郎把这件事情上报给了信玄。结果义信被信玄软禁起来，也因此失去了信玄的信任，过了几年就切腹自杀。而担起全部罪责的饭富虎昌也在当年八月切腹谢罪。

饭富虎昌最后晚节不保，其罪魁祸首是他的学生义信，甚至连饭富虎昌的性命也是因为义信断送的。