唐玄宗死后，唐高宗李治即位，房遗爱被贬至房州担任刺史，两人密谋发动政变，打算废掉李治，改拥立李元景为帝。他们联合其他人，名将薛万彻，柴令武及他的妻子巴陵公主等人。但是事情不机密，被长孙无忌发现，唐高宗下令让长孙无忌审查此事。

长孙无忌借此机会将李恪也牵连进来，含冤而死。房玄龄生前与长孙无忌是对头，长孙无忌借助这个机会，将房玄龄的后人都清算了，房遗爱的兄弟三人也受到牵连被流放。直接参与这件事的人，也都被刺死了。

房遗爱和高阳公主的这次谋反，惊动了唐朝的高层，牵连宗亲甚多，对唐朝的影响是极大。武则天上台，因为宗亲被灭太多而没有人有能力阻止，长孙无忌最终也死在武则天手下,也算一报还一报吧。