霍嬗一去世，霍去病门下便没有了后人。当时，汉代官位继承制度严格规定，在没有子嗣的情况下，不允许兄弟来继承爵位，所以霍去病的冠军侯国的爵位因此也被割除。

霍去病还有一兄弟名为霍光，霍光去世前，伤感同父异母的哥哥霍去病没有后人，便将自己的儿子霍山过继给霍去病。霍去病儿子霍嬗去世后，霍光之子就成为了霍去病的嗣子。在《建元以来侯者年表》中记载了霍光请求皇帝将霍山过继给霍去病一事。皇帝同意后，将霍山封为侯。后来，霍山因为谋反而被杀。