李夫人去世后，汉武帝难过万分，并且以皇后的下葬礼仪来处理李夫人的丧事。李延年的弟弟依仗李夫人生前无尚显赫，依然我行我素。李季不但不知收敛，反而变本加厉地去勾引后宫宫女，和她们发生关系。汉武帝知道后，大发雷霆，认为李氏兄弟目无王法。在皇帝跟前居然敢和后宫宫女私通。李夫人在世时，因汉武帝极其宠爱她，加上李家一门极度受宠。这引来了宫中之人的嫉妒，恰好李季淫乱后宫，这些人将对李氏的怨恨转移到了李季和李延年的身上，并进一步向汉武帝诉说李氏兄弟任意妄为的事情。汉武帝认为李延年包庇弟弟，下令处死李延年和李季。

当时，大哥李广利在征讨匈奴，侥幸逃过一劫。后来，李广利和朝廷大臣密谋，决定立李夫人的儿子为皇上，事情败露后，遭到了诛杀。