但好景不长，公元前68年，其父霍光去世。而后，汉宣帝立其与前皇后许平君所生的儿子为太子。霍成君的母亲听说这件事后十分的气愤，霍显便暗中想要毒杀太子，但很不幸，霍显想要谋害太子的事情并没有成功。见事情失败后，霍显一不做二不休便联合霍家子弟密谋造反，但被汉宣帝识破，霍氏一族被灭门。同时，汉宣帝认为皇后霍成君为人狠毒，于是将霍成君废黜，后霍成君自杀于上林苑的昭台宫。

霍光的父亲

根据史料可考，西汉著名权臣霍光的生父只是一个县中的小官，其家境也算不上优渥。但他却又两个十分出名的儿子，一个就是西汉大司马霍光，另一个则是骠骑将军霍去病。那么，他们的父亲是怎样的一个人呢？

霍光之父霍仲孺

两人的父亲名为霍仲孺，只是河东平阳的一个小官而已。霍仲孺生来一副好相貌，又能识字断句，在当时很受女子的喜欢。根据史料的记载，公元前141年左右，霍仲孺被派去平阳侯里服役。在平阳侯府里，霍仲孺认识了卫少儿。卫少儿是平阳侯府的家生子，其母是平阳侯府里的侍女卫媪。霍仲孺与卫少儿两人一见如故，卫少儿被霍仲孺的才学所倾倒，两人便私定了终身。

但好景不长，霍仲孺服役期满，要回到自己的家中，两人就此分离。当时的卫少儿已经怀孕，无奈之下只得生下孩子，这个孩子便是后世有名的大将军霍去病了。所以，霍去病其实是一个私生子。可能霍仲孺根本就没有想过要娶卫少儿为妻，不久之后，霍仲孺就另娶她人为妻，最后生下了儿子霍光。

从霍仲孺跟卫少儿的经历来看，霍仲孺并不是一个良人。先是弃已经怀孕的卫少儿于不顾，再者是对于霍去病，他没有尽过作为一个父亲的职责。在霍去病知道自己的身世后，并没有埋怨生父霍仲孺对他的不管不顾，反而替霍仲孺买下良田千顷，置办豪宅。