有一天武帝去了昆明池。昆明池在上林苑中，池中有豫章台、灵波殿及一条石刻的鲸鱼。石鲸长三丈，每到天上下雨的时候，石鲸首尾皆动。昆明池东西各立一个石人：一是牵牛，一是织女，做成天河的样子。时值秋日，武帝坐在舟中，见夕照西斜，凉风激水，景物使人凄凉。不禁触事怀人，想到李夫人生前的种种好处，于是自做新词一首，名《落叶哀蝉曲》，其词曰：“罗袂兮无声，玉墀兮尘生。虚房冷而寂寞，落叶依于重扃。望彼美之女兮，安得感余心之未宁?”

　　武帝出来游昆明池，本为散闷解颐，谁知反添了许多新愁，于是回到延凉室中休息。他觉得很疲倦，睡眼之间，忽见一人袅袅走进。原来竟是李夫人，她手携一物，赠与武帝，并说：“这是蘅芜香。”武帝忽然惊觉，回忆刚才的梦境，历历如在眼前。又闻到一阵香气，芬芳经久不息。他记起李夫人梦中所赠的香，到处摸索却找不到。但是枕席衣襟，却不知怎么沾染了香气，因此改延凉室名为“遗芳梦室”。

　　武帝怀思转切，召来一个方士，让他在宫中设坛招魂，好能与李夫人再见一面。于是在晚上点灯烛，请武帝在帐帷里观望，摇晃烛影中，隐约的身影翩然而至，却又徐徐远去。武帝痴痴的看着那个仿如李夫人的身影，凄然写下：“是邪?非邪?立而望之，偏何姗姗来迟。”原来深海里有潜英之石，颜色发青，且轻如毛羽，天气寒冷石头却是温的，当暑热时反而变冷。把这种石头刻成人像，可以说话，方士将石像置于纱帐里，宛若李夫人生时。但因石头有剧毒，不可接近，只可以在远处观望。

　　他想到李夫人病中嘱托的话，于是封李延年为协律都尉。李夫人还有一个弟弟李广利，则苦于没有尺寸之功，武帝不能无故加封。不过机会终于来了，武帝听说大宛国有汗血马。便派使者赍持千金及金马前往大宛换取良马。此事被大宛国王一口拒绝。使者费尽许多辛苦白跑了一趟，因此生气之下痛骂宛国大臣，又将金马锤成了碎屑。大宛国将使者杀死，财物夺去，只有几个从人侥幸脱逃。武帝借机派李广利领六万骑兵，七万步卒往征大宛。待四年后班师回玉门关，仅剩下万余人。武帝却不加苛责，反而封李广利为海西侯，食邑八千户。多少尸骨丢在大漠无人收取，只为李夫人的一句遗言，武帝也称得上是一往情深。

　　“夫人”是嫔妃的称号，李夫人没有留下她的名字，薄命不薄命难说，祸水不祸水也谈不上，但这位死后许多年还能让汉武帝恋恋不忘的李夫人却实在不寻常。她的开始和结局同样不可思议。武帝的无尽思痛几乎全在她计划之中，美艳的容颜是她受宠的原因，而更在于她做人极有分寸，不因武帝的宠幸忘乎所以。一句“遗世而独立”衬托了她的本质，有可遇而不可求的距离美。李白的那句“以色事他人，能得几时好?”也许是李夫人所说的最好注脚。

　　东汉郭宪《汉武帝别国洞冥记》中记载了汉武帝因深情思念李夫人，东方朔遂献上一枝怀梦草，使武帝能在梦中和李夫人相遇。《史记》与《汉书》都详略不同地记载了方士李少翁为汉武帝招李夫人魂的事。据东晋王嘉《拾遗记》：招魂时是用色青质轻的“潜英之石”，将李夫人的画像设在纱帐里，在灯烛下投影于“帐帷”之上。这是后代皮影戏的由来。白居易诗《李夫人》云：“伤心不独汉武帝，自古及今皆若斯。君不见穆王三日哭，重璧台前伤盛姬。又不见泰陵一掬泪，马嵬坡下念贵妃。纵令妍姿艳质化为土，此恨长在无销期。”但那种“遗世而独立”的凄清，千古之下只李夫人一人而已，远非杨贵妃的艳俗可比。