李义府并没有多大的家世背景，他曾极其迫切想加入豪门大姓中，可见他对名利和身份是多么在意。贞观八年，李义府因为能写文章被巡查大使推荐为典仪。之后，又得到了举荐的机会便一直跟随在晋王李治的身边。唐太宗之后病逝，太子李治便登上了皇位，李义府便封为中书舍人。但由于他得罪了长孙无忌，被贬为司马。

在一次与王德俭商量对策时得知皇帝想立武昭仪为皇后，但又害怕丞相不答应所以此事还没有进行。如果李义府能助皇帝一臂之力，那他就能转运。李义府听了便连夜上表，请皇帝废黜王皇后立武昭仪为皇后。皇帝本来就是有这种想法经过他的举荐更加开心了，并命人收回贬书将李义府留在原职上。

李义府凭借自己位高权重便开始胡作非为。当时，有个女子因为有罪被关入大牢，李义府看到她的美貌便命大理丞把女子放了，然后把这名女子纳为妾侍。李义府又担心这件事暴露了，竟逼迫大理丞自杀，此事皇帝虽然知道，但他也没有追究李义府的罪责。他仗着皇帝对他的宠幸，在朝堂上也是为所欲为。侍御史王义方对李义府所做的事情进行弹劾，认为擅自杀死大理丞应该治罪。李义府出来辩驳，经过王义方三次斥责，他才住了口，皇帝看到后，认为王义方有损大臣的颜面，出言不逊，随即把王义方贬为司户。李义府当然非常得意了，在退朝后对王义方进行嘲讽。