霍光专权，除了限制汉昭帝玩乐，连宫闱之事也横加干涉。十二岁时，汉昭帝大婚，立上官桀之子上官安之女，也就是霍光的外孙女，年仅六岁的上官氏为皇后。抛开诸多人情因素，这终究是一桩政治婚姻，也是上官皇后被冷落的根源所在。后来，上官桀父子密谋造反失败后被霍光诛杀，夷灭宗族，牵连甚广，因“皇后以年少不与谋，亦光外孙，故得不废”（《汉书外•戚传》）。尽管没有废掉上官皇后，但经此一变，汉昭帝对皇后越发冷落，已经透漏出了对霍光的不满。
    想当权不能当权，想玩不能玩，想宠幸宫嫔不能宠幸宫嫔，汉昭帝在权威、玩乐、性趣上均受到了权臣霍光的严格扼制。不能玩乐也就算了，但作为当朝皇帝，无实权可抓为一大恨;作为正常男人，无女人可御又为一大恨，如此毫无尊严、毫无活力的屈辱遭际，还不如一个王侯将相，不如一个平民百姓，你说他苦恼不苦恼，忿恨不忿恨，憋屈不憋屈?时间一长，汉昭帝也只有生病的份了。
    从“侍疾”、“体不安”到“寝疾”，仅仅三年，就让一个原本生龙活虎的青年皇帝倒在了病床上。
    究其原因，就是因为权臣霍光“亡周公之德，秉政九年，久于周公，上既已冠而不归政”(《汉书•五行志》)，以及对汉昭帝私生活的无耻干涉和横加限制，使汉昭帝有苦难言，有怨难诉，有忿难平，欲哭无泪，最终肝火内炽，病入膏肓。汉昭帝看似突然死亡，其实有个漫长的煎熬过程，他是因处处受制于霍光，长期郁闷憋屈而死。可以说，汉昭帝是中国历史上死得最憋屈的皇帝。
    公元前74年，刘弗陵因病驾崩，年仅二十一岁，在位十三年。谥号孝昭皇帝。