李夫人去世后,汉武帝难过万分,并且以皇后的下葬礼仪来处理李夫人的丧事。李延年的弟弟依仗李夫人生前无尚显赫,依然我行我素。李季不但不知收敛,反而变本加厉地去勾引后宫宫女,和她们发生关系。汉武帝知道后,大发雷霆,认为李氏兄弟目无王法。在皇帝跟前居然敢和后宫宫女私通。李夫人在世时,因汉武帝极其宠爱她,加上李家一门极度受宠。这引来了宫中之人的嫉妒,恰好李季淫乱后宫,这些人将对李氏的怨恨转移到了李季和李延年的身上,并进一步向汉武帝诉说李氏兄弟任意妄为的事情。汉武帝认为李延年包庇弟弟,下令处死李延年和李季。
当时,大哥李广利在征讨匈奴,侥幸逃过一劫。后来,李广利和朝廷大臣密谋,决定立李夫人的儿子为皇上,事情败露后,遭到了诛杀。