李义府又喜好美色，有一次他对牢中的一个女子起了色心，命毕正义将女子释放，然后让这位女子做了他的妾侍。又怕事情败落逼迫毕正义自杀，来确保自己的安危。李义府非常铺张浪费、欺男霸女，仗着自己是宰相竟然狂妄到迁了当时唐朝最奢侈的祖坟，这令朝中官员极大不满，李治便警告他让他自己小心谨慎点，但李义府却不以为然，继续我行我素。