显庆四年(659年)，李义府被征召回朝，兼任吏部尚书、同中书门下三品。此前，李义府自称出身赵郡李氏，被给事中李崇德列入族谱。他贬官普州时，李崇德却将他除名，因此怀恨在心。李义府回朝后，命人罗织罪名，将李崇德下狱。李崇德最终在狱中自杀。

　　龙朔二年(662年)，唐高宗更改官制，李义府改任司列太常伯、同东西台三品。他奏请皇帝，将祖父改葬到永康陵侧，并征调七县民丁，昼夜不停的运土修坟。满朝王公争相馈赠奠仪，送葬队伍绵延七十里，极尽奢华。同年十一月，唐高宗封皇八子李旭轮(即李旦)为殷王，命李义府兼任殷王府长史。

　　流放巂州龙朔三年(663年)，李义府升任右相，仍旧主持铨选。他在皇帝面前谄言自媚，出外则肆意乱法，百官尽皆畏惧，无人敢言其过。唐高宗对此略有所知，告诫他道：“听说你的儿子、女婿多有不法之事，我都为你掩饰，你该对他们多加管教。”李义府勃然变色，问道：“是谁告诉陛下的?”高宗道：“你知道就行，不必问我是怎么知道的。”李义府也不谢罪，扭头便走。唐高宗虽未追究，但也深为不满。

　　不久，李义府请术士杜元纪望气。杜元纪道：“您的宅第有冤狱造成的怨气，如果积蓄二千万钱，可以将怨气压制。”李义府深信不疑，更加急切的搜刮钱财，还趁哭吊亡母之时，与杜元纪微服出城。时人都认为李义府在窥测灾异，图谋不轨。这时，李义府又向长孙无忌之孙长孙延索取七百贯，授给他司津监的官职，结果被右金吾仓曹参军杨行颖告发。

　　四月，唐高宗将李义府下狱，命司刑太常伯刘祥道联合御史台、详刑寺(即大理寺)一同审讯，并由司空李勣进行监督。不久，唐高宗下诏，将李义府长期流放巂州(今四川西昌)，其子婿也都遭到流放。朝野对此无不称庆，有人甚至写了篇《河间道行军元帅刘祥道破铜山大贼李义府露布》，张贴在交通要道上。

　　乾封元年(666年)，唐高宗封禅泰山，大赦天下，但却不许长期流放的罪囚返回。李义府忧愤不已，发病而死，时年五十三岁。至此，担心他《大明宫词》中的李义府再度起复的朝士方才安心。上元元年(674年)，李义府的妻子、儿女遇赦，得以返回洛阳。如意元年(692年)，武则天念及李义府此前的辅助之功，追赠他为扬州大都督，后赐实封三百户。景云元年(710年)，唐睿宗继位，又将李义府的实封收回。

免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。