李治与武则天之间的关系也越来越貌合神离，这对夫妻手下的支持者也已经分成两路，李义府平日里又与武则天交往非常密切，因此李治早就想收拾李义府了，想通过李义府给武则天一个下马威，让她明白谁是真正的统治者。

李义府察觉到李治对他明显很不满了，接着他又做出了一件很雷人的事情。他叫一位术士到他的府上望气，看看如何再得到李治的重视，术士告诉他只要他在某间屋子里积财二千万就可以了。李义府听了他的话想办法如何去凑钱，他把心思动到了长孙无忌儿子的身上。

李治听说了这件事，非常生气，李义府被免去了官职。还被流放到州。之后，武则天并没有把他给重新召回来，最终在府中病亡了。