众臣看到刘贺实在无法担当皇帝的重任，就在霍光的组织下，联合皇太后废除了刘贺的帝位。刘贺被贬为昌邑王，依旧回昌邑封地去。刘洵当上皇帝以后，一直不放心这位废帝。刘贺后来被贬为海昏侯，封国在豫章郡。

刘贺被贬到豫章后，依旧是不思悔改，过着花天酒地的日子。刘洵派人暗暗监视这位前任的皇帝，本来想要杀掉他，但发现刘贺是个没有大志的人，就放过了他。

刘贺出生在王家，他的父亲刘髆是皇帝的儿子，在很年轻的时候就去世了。刘髆幼年就继承了昌邑王的封爵。由于从小没了父亲，缺乏家长的管教，他养成了无所非为的性格。再加上他是藩王，在自己的封地，没人敢违拗他，因此，他的性格变得越来越乖戾。而刘贺之后的继位皇帝刘洵自幼生长在民间，在当上皇帝后为国为民，成为了一代好皇帝。