不过相比身份和地位，两人被并称的最重要的原因还是都废立过皇帝的经历。伊尹曾经因为太甲不行德政、不遵法制而将其废黜，在放逐到桐宫三年后，见其改过自新而把他迎接回来并重新扶立为王。

霍光则是因为昭帝刘弗陵英年早逝又无子嗣，在与群臣以及太后商议后，拥立刘贺继承皇位。可惜刘贺即位后荒淫无道，还不听劝阻，霍光只好又将其废黜。刘贺在位只有27天，史称汉废帝。之后，霍光又请来刘彻的曾孙刘询，拥立他登上皇位，史称汉宣帝。

伊尹和霍光两人的废立之事，都可以说是废无道而立有道的典范，所以后世往往把权臣废立皇帝称为伊霍之事。