霍光自从入朝为官以来，一直侍奉在汉武帝刘彻身边，二十几年来一直没有出过什么差错。汉武帝刘彻因此十分的欣赏他，认为他是一个忠心的大臣。在汉武帝临终之际，他封霍光为大司马，并让霍光辅政新帝。霍光接受任命后，一直兢兢业业辅政汉昭帝刘弗陵。汉昭帝刘弗陵跟他的父亲汉武帝一样，也非常的信任霍光。汉昭帝认为霍光有治世之才，便对霍光委以重任，将朝政托付给霍光。当时的霍光，大权在握，成为了西汉实际的掌权者。

公元前74年四月，汉昭帝辞世。汉昭帝并没有留下子嗣，于是身为大司马的霍光决定迎立汉武帝的孙子昌邑王刘贺为新帝。本来有霍光的辅佐，新帝刘贺应该是能够将皇位坐稳的。但奈何刘贺当上皇帝之后便原形毕露，刘贺好逸恶劳，为人荒唐，喜好声色，不是一个明君。

霍光经过一番深思熟虑后，决定要效法殷商的伊尹。霍光将其荒淫的证据一一收集起来，最后将证据递交给上官太后，要求废黜刘贺。在霍光的一番运作下，刘贺登基仅二十多天就被废了。霍光后来又改立汉武帝的曾孙刘询为皇帝。