开元十四年，李林甫被任命为御史中丞，后来担任过刑部和吏部的侍郎。当时武惠妃最受宠爱，她的儿子寿王也因此得到了唐玄宗的另眼看待。李林甫抓住机会讨好武惠妃，他悄悄派人告诉武惠妃：“我愿意保护好寿王。”武惠妃很感激他。

李林甫和裴光庭的妻子有染，裴光庭死后，他妻子请求高力士让李林甫代替丈夫的官职，但高力士没有答应。唐玄宗让萧嵩推荐宰相人选，萧嵩推荐了韩休。高力士把这个消息透露给了裴妻，裴妻马上让李林甫去告诉韩休。韩休当上宰相后不知道是萧嵩推荐他的，还以为李林甫从中出了力，很感激李林甫，却和萧嵩不和。他推荐李林甫当宰相，武惠妃也从中相助，于是唐玄宗将李林甫命为黄门侍郎。

李林甫后来担任礼部尚书，善于对皇上察言观色、讨好逢迎。但是李林甫性格多疑，喜欢树敌。朝中凡是不和他打交道的官员，都会被他想办法排挤掉。李林甫当着别人的面把好话说尽，但转过身来就用最阴险、最毒辣的手段害人，别人都形容他为“口蜜腹剑”。

宰相张九龄是个很正直的人，经常为了原则而和唐玄宗争执，导致唐玄宗对张九龄越来越不满。李林甫却经常在旁边煽风点火，让唐玄宗增强对他的好感。李林甫当上宰相后，依靠溜须拍马博得唐玄宗的好感，唐玄宗把一切政事都交给李林甫处理。这样他自己一手控制了朝政，别的大臣都得看他的脸色行事。

李林甫谄媚皇帝，为了巩固自己的权位，谁对他的位置构成威胁，他必然会想尽办法把谁打倒。太子妃的哥哥韦坚进入朝廷任职，李林甫表面上举荐韦坚担任要职，而实际上却在暗中筹划对付他。他让御史中丞杨慎矜暗中调查和监视韦坚。正月十五晚上，太子出宫游玩，遇到韦坚。杨慎矜打探到这个消息后，就告诉了唐玄宗，诬告他们图谋不轨。唐玄宗很生气，就把韦坚罢黜了，并要太子将太子妃废掉。李林甫借此机会诬告前任宰相李适之等人和韦坚关系密切，结果唐玄宗将韦坚赐死，其他人被赶出了朝廷。

当杨慎矜权势大起来之后，李林甫又把矛头对准了他。让心腹诬告杨慎矜，把杨慎矜全家都害死了。后来成宁太府赵奉章上书揭发李林甫的罪状，告状信还没有送到皇帝手里就让李林甫知道了。李林甫授意御史台将赵奉章逮捕，将他活活打死。