俗话说得好，死狗扶不上墙。昌邑王刘贺做了皇帝，却没有一点做皇帝的样子。每天从早到晚，他不仅不同霍光和大臣们商议国家大事，反而将原来昌邑的全套人马都带到了长安，甚至把昌邑的那些打鼓的、的、斗狗的、耍把戏的都弄到皇宫里来，叫他们陪着自己玩儿，随意赏给他们钱财。在居丧期间，宫里不允许吃肉，他却偷偷地派人到宫外去买鸡、买猪，拿回来宰了大吃大喝。他闲着没事儿，甚至还跑到汉昭帝的后宫里去奸污宫女。

　　一天，刘贺梦见在皇宫西门的台阶东侧，有一大堆绿头苍蝇的粪便，约有五六石之多，上面盖着大片的屋瓦。刘贺向龚遂询问，龚遂说：“陛下平日所读的《诗经》中，不是有这样的话吗：‘绿蝇往来落篱笆，谦谦君子不信谗。’陛下左侧奸佞之人很多，就像陛下在梦中见到的苍蝇粪便一样。因此，应该挑选先帝大臣的子孙，作为陛下身边的亲信侍从。如若总是不忍抛开昌邑国的故旧，信任并重用那些谗佞阿谀之人，必将招致不祥之祸。希望陛下能反祸为福，将那些昌邑旧人中的奸佞之徒全部逐出朝廷。我龚遂愿以身作则，第一个走。”刘贺依然不加理会，根本就听不进龚遂的话。

　　一时间，整个皇宫被刘贺搅的天昏地暗、乌烟瘴气。根据《汉书·霍光金日磾传》载：刘贺“受玺以来二十七日，使者旁午，持节诏诸官署征发，凡千一百二十七事。”27天内就干了1127件荒唐事，平均一天40件。这个数字确实惊人!

　　霍光没有想到自己拥立了这么一个浪荡皇帝，真是又气愤又后悔。他不敢声张，悄悄地把他的心腹大司农田延年找来，问他应该怎么办。田延年说：“大将军认为这个人不能做皇帝，为什么不禀告皇太后把他废掉，再挑选一个贤明的人呢?”霍光说：“我也想这么着，但不知到古时候有没有这种先例?”田延年说：“怎么没有呢?殷朝时有个国相叫伊尹的，曾经废黜了昏君太甲，使国家得到了安定，后世人都说他是忠臣。大将军要是这么做，那就成了汉朝的伊尹了。”霍光又去跟已经升任车骑将军的张安世商议，张安世也同意把刘贺废黜了。

　　霍光又派田延年去报知丞相杨敞。杨敞是一个胆小怕事的人，他一听说要废掉新立的皇帝，吓得出了一身冷汗，一时张嘴结舌说不出话来。他的夫人趁田延年出去更衣的功夫，急忙对丈夫说：“这是国家大事，如今大将军已作出决定，还派大司农来通知您，您若不痛痛快快地答应，跟大将军同心合力，还能有好结果吗?”杨敞的夫人没办法，只好自己出面说明。《汉书·杨敞传》上说，“延年从更衣(处)还，敞夫人与延年参语，许诺，请奉大将军令。”言及杨敞的夫人与田延年两个人一起研讨此事路，代替杨敞表明态度说：“一切遵从大将军的命令!”

　　就在昌邑王即位的第二十七天，霍光把文武百官召集到未央宫，跟他们一块商议废除昌邑王的事。霍光开门见山地问道：“昌邑王昏庸无道，恐怕要危害社稷，大家说应该怎么办呢?”群臣见霍光不称刘贺为皇帝而称昌邑王，一个个都吓得半晌说不出话来。田延年看这种情况，不由得站起身来，手按着剑柄说：“先帝把天下托付给大将军，是因为大将军忠厚贤明，能够安定刘家的天下。要是汉朝的宗庙从昌邑王的手里绝祀，大将军死后还有脸到地下去见先帝吗?今天大将军作出的决定，容不得半点迟疑，谁要是不响应，我马上砍了他的脑袋!”霍光道：“所有责任应当由我来负。”群臣听了，全趴在地上磕头，齐声说：“我们一定遵从大将军的命令!”于是，霍光就让尚书令把事先写好的奏章拿出来，请大臣们在上面一一签名。

　　随之，霍光率群臣晋见太后，陈述刘贺种种无道行径，于是皇太后乘车前往未央宫承明殿，下诏命皇宫各门不许放原昌邑国臣属入内。守门的太监们接到太后的诏令，每人手握一扇宫门，刘贺一进入温室殿，太监们立即将门关闭，把跟在后面的原昌邑国的臣属挡在外面。