伍子胥的第二次进谏是和夫差在军事上的分歧，夫差在灭越之后，有了争霸天下的决心。他先是起兵伐鲁，打败鲁国，和鲁国签订了和约。夫差听闻齐国新立国君，国家不太稳定，就有了讨伐强齐的主张。伍子胥根据当时的大势，没有同意夫差的想法，但是后来夫差跳过伍子胥，任命大将讨伐齐国，大败齐国十万大军。在庆功宴上，伍子胥建议夫差见好就收，应该先扫平离吴国最近的越国，这样吴国攻齐的时候就没有后顾之忧了。

吴王夫差没有听信伍子胥的劝告，仍然决定继续伐齐。伍子胥意识到了吴国将不久存矣，在出使齐国的时候，伍子胥自己的独子托付给了齐国好友鲍牧。有人将这条消息告诉了夫差，并污蔑伍子胥之所以不同意灭齐是因为他早已投靠了齐国。夫差居然听信了小人的谗言，怀疑教导自己多年的恩师，下令赐剑伍子胥，让他自杀。