然而，霍光及其家人党羽，都大大低估了宣帝的能力。汉宣帝自幼饱经磨难，与生长于皇宫王室而不知世事的昭帝、昌邑王完全不同，能够更为理智地审时度势，从大处着眼，妥善处理好和霍光及其党羽的关系。宣帝“自在民间闻知霍氏尊盛日久”，早有思想准备，十分清楚面对这种局面，轻举妄动，只能重蹈昌邑王覆辙。他需要做的事情，只是耐心等待时机，故史称“时大将军霍光辅政，上共(恭)己正南面，非宗庙之祀不出”。

　　在痛苦的忍耐中又度过六年之后，直到所谓地节二年(实际上当时行用的年号是本始六年)三月，汉宣帝终于熬到了出头的日子：这时霍光死掉了。从这一年五月起，宣帝开始“亲政”亦即直接处理朝廷日常政务了。接下来，汉宣帝用很老辣的手腕，在以隆重的礼节厚葬霍光的同时，寻找时机，一举彻底清除了霍家的势力。

　　被废除帝位之后返归故国的刘贺，位置颇有些微妙。《汉书》本传记载霍光以上官皇后的名义，“赐汤沐邑二千户(《汉书?诸侯王表》说是‘三千户’，未详孰是)，故王家财物皆与贺。……国初，为山阳郡”。汉宣帝登基后，派遣山阳太守张敞去察看昌邑王的动向，张敞汇报情况时也称刘贺为“故昌邑王”，而且是“居故宫”，后来赐封为海昏侯时也称“其封故昌邑王”云云。区区两千户汤沐邑尚不及后来所封海昏侯之“食邑四千户”，加之“故昌邑王”等说法，都表明刘贺在被废除帝位之后，一直没有其他爵位，只是故王和废帝而已。

　　明确这一点可以知道，汉宣帝在元康三年将刘贺赐封为海昏侯，实际上是要给这段历史一个了结，而刘贺到豫章后之所以还会有这么厚重的陪葬，显然与刘贺初被废黜帝位时仍能继续保留有“故王家财物”具有直接关系，海昏侯墓中出土的那件“昌邑九年造”漆器，就是其中之一。