几年后刘贺被贬到了江西做一个侯爷。刘贺在江西与一位姓孙的人有来往，那人问他在被废黜时为什么不直接兵戎相见？刘贺表示很后悔，姓孙者还表示刘贺不久就会在位列诸王。两人的这一番话被告发，汉宣帝夺走了刘贺三千户的食邑。刘贺在江西生活了四年就去世了，享年三十四岁。

刘贺是汉武帝晚年时期宠爱的李夫人的孙子，他的舅公曾经想要发动政变立他的父亲为太子，但被武帝识破后，阖族皆灭。这就是刘弗陵之子的故事。