霍家地位虽然高贵，但因霍光教导无方，导致其后人骄奢淫佚。霍禹继承博陆候的封爵后，太夫人霍显改建自造的墓地，扩大了规模，建造三出阙，筑神道，并与管家的奴隶冯子都私通，生活相当糜烂。同时霍禹、霍山也都整修住宅，在平乐馆赛马取乐。霍云在应该朝见皇帝的日子，多次托病不去，私下带着宾朋好友到黄山苑去游猎，而派奴仆代表自己去朝见，竟然没有谁敢指责他。霍显和她的几个女儿还不分昼夜地随意进出太后住的长信宫殿，没有时间的约束。
　　霍光去世后，皇帝才开始亲自处理朝政。御史大夫魏相曾经上书，认为霍家倚仗权势，骄奢放纵，应当损夺其权，宣帝也深以为然。后来霍显与淳于衍合谋毒死许后的事情渐渐泄露出采，宣帝也听说了这件事，但一时也不明真假，于是把霍光的三女婿、度辽将军、未央卫尉、平陵侯范明友调为光禄勋．二女婿诸吏中郎将羽林监任胜调出京城去做安定太守。几个月后，又把霍光的姐夫，给事中、光禄大夫张朔调为蜀郡太守，调霍光的孙女婿、中郎将王汉为武威太守。不久，又调霍光的大女婿长乐卫尉邓文汉为少府。接着任命霍禹为大司马，但只许戴小冠，没有印绶，同时撤销他的右将军该统领的营兵和下属办事机构，只是让霍禹的官名和霍光一样，都是大司马罢了，有职无权。不久又收回范明友的度辽将军印绶，只任光禄勋，又收回三女婿的骑都尉印绶，将他改任文职。与此同时，宣帝将羽林军和两宫卫军的各个带兵将领全都换上了自己的亲信。
　　霍显、霍禹、霍山、霍云等人自从发现权力被一天天削去，多次相对哭泣，互相埋怨。地节四年(公元前66年)，霍显等人密谋发动政变，密谋被人告发后，霍云、霍山．范明友自杀，霍显、霍禹、邓广汉被捕，霍禹被腰斩，霍显及其多个子女都被斩首示众。唯独霍皇后只被废黜．居住在昭台宫。这时，同霍家有关系而被杀的有数千家。至此，自武帝以来显赫一时的霍氏家族终于遭到灭族之祸。
　　宣帝杀尽霍光全家，不过，宣帝并没有因此抹杀霍光的功勋，宣帝晚年在麒麟阁设置画像，霍光仍然被列为第一功臣。
　　霍光少年凭其兄霍去病的推荐开始入宫侍奉皇帝，只是守门护阶的郎官，但其意志刚强，坚守大义，颇受汉武帝重用，后接受汉武帝的委托，辅佐幼主，负起了扶保汉室的重任，他担当宰辅，随机应变，制服政敌，以实现他对汉室的忠诚；在废立皇帝的关键时刻，他面对大是大非毫不动摇，终于扶正国家，安定社稷。被誉为汉朝伊尹。然而，其后人不争气．处富贵而骄逸，争权位而图反叛，终于导致家族的灭顶之灾。其幸乎，悲乎？