在李治最稳皇位后，李义府对他来讲并没有什么益处了，加上他与武则天的关系，李治逐渐意识到李义府的存在可能会失去他的皇位。李义府非常铺张浪费、欺男霸女，仗着自己是宰相竟然狂妄到迁了当时唐朝最奢侈的祖坟，这令朝中官员极大不满，李治便警告他让他自己小心谨慎点。但李义府却不以为然，竟然还反问李治是谁把这件事告诉他的。李治当然也很生气，如此高傲、目中无人的臣子是时候要教训他一下了。

李治与武则天之间的关系也越来越貌合神离，这对夫妻手下的支持者也已经分成两路，李义府平日里又与武则天交往非常密切，因此李治早就想收拾李义府了，想通过李义府给武则天一个下马威，让她明白谁是真正的统治者。

李义府察觉到李治对他明显很不满了，接着他又做出了一件很雷人的事情。他叫一位术士到他的府上望气，看看如何再得到李治的重视，术士告诉他只要他在某间屋子里积财二千万就可以了。李义府听了他的话想办法如何去凑钱，他把心思动到了长孙无忌儿子的身上。

李治听说了这件事，非常生气，李义府被免去了官职。还被流放到州。之后，武则天并没有把他给重新召回来，最终在府中病亡了。