昭帝继位后，霍光官至大司马大将军，并兼任尚书。前81年，另一个辅政大臣上官桀勾结燕王刘旦等人，意图废昭帝而立燕王。因争权而相互结怨，霍光也是他们的铲除对象之一。然而最后昭帝识破了上官桀的阴谋并将来龙去脉告知霍光，因此谋反之人被霍光尽数铲除。

内乱平定后，霍光得到了昭帝的完全信任，开始独揽大权掌握政府最高权力，成为了实际上的最高统治者。在昭帝的重用下，霍光改革政策制度，缓和了武帝遗留下来的社会矛盾，使衰退的大汉国力慢慢恢复。昭帝因为年少而能辨别忠奸、重用霍光，得到了后世史家的高度赞赏。

前74年，年仅二十一岁的昭帝病逝，霍光主持了他的丧事。昭帝的英年早逝令人惋惜，而这一点也常被算作是霍光的过失，认为是他有负昭帝信任。除了政治上君臣的关系，霍光也是昭帝刘弗陵唯一的皇后上官氏的外祖父。因为没有参与祖父上官桀的谋反之事，上官皇后得以幸免。

之后，已经权倾朝野的霍光为了巩固势力，他开始干涉昭帝的私生活，希望外孙女可以得到专宠并为昭帝生下子嗣。除上官皇后外，妃嫔和宫女不许接近昭帝。可惜，昭帝最终早亡，而尚年轻的上官皇后也未能怀上一子。