公元736年，蔚州刺史王元淡因贪污被查。王元淡的妻子曾是严挺之的前妻，严挺之欲为王元淡开脱罪名以保护前妻。李林甫得知此事后，意识到这是一个可以利用的机会。他深知张九龄与严挺之关系匪浅，若严挺之受到查办，张九龄必会出面辩护。于是，他暗中向唐玄宗报告此事。果然，唐玄宗追查严挺之包庇之罪，张九龄挺身而出为其辩护。李林甫趁机诬陷张九龄与严挺之、裴耀卿等人结党营私。唐玄宗本已对张九龄心生不满，遂罢免了张九龄的宰相之职，将李林甫提拔为宰相。
李林甫上台后，为了独揽大权，他特意挑选那些缺乏主见、唯命是从的人作为同僚。他推荐的左相牛仙客从不插手政事，任由李林甫一人独揽大权。牛仙客去世后，刑部尚书李适之被任命为左相。李适之虽对权力有所追求，但终因无法与李林甫抗衡而遭到陷害。此后，李林甫又推荐了同样没有主见的陈希烈为左相，确保朝政大权始终掌握在自己手中。
李林甫深谙权力之道，他巧妙地将朝中大臣与唐玄宗隔绝开来，确保他们无法直接向皇帝提出异议或建议。他公然对谏官们说：“陛下英明无比，其旨意皆为正道，我们作为臣子，只需忠诚执行即可。皇宫前的马匹，虽享受高贵待遇，但稍有违逆，即遭严惩，何况我等？”此言一出，谏官杜琎不以为然，依旧坚持上奏唐玄宗，提出自己的见解。然而，次日便被贬至外地，担任县令一职。自此，朝中大臣无不畏惧李林甫，再无人敢直言进谏。
某日，唐玄宗想起了远在异地的严挺之，称赞其才华横溢，应得朝廷重用。李林甫表面应承，暗中却施展诡计。他找到严挺之的弟弟，假装好意地说：“你哥哥若有意回京，只需上奏称病，请求回京治疗即可。”严挺之的弟弟信以为真，急告其兄。严挺之不疑有他，果真上奏称病。李林甫趁机向唐玄宗禀报：“严挺之病重，恐无法再为陛下效力。”唐玄宗闻此，只能作罢，不再考虑重用严挺之。
公元747年，朝廷举行科举考试，李林甫生怕有才能之士崛起威胁自己的地位，便利用权势暗中操作，导致全国无一人被录取。他还向唐玄宗谎称，天下贤才已尽入陛下麾下。李林甫不仅阻止新人崛起，还陷害排挤朝中重臣，使文武百官皆唯他马首是瞻。
李林甫与人交往，表面热情友善，言辞甜美，实则心机深沉，狡猾阴险。时日一长，众人识破其真面目，私下里称其为“口蜜腹剑”，这便是成语“口蜜腹剑”的由来。李林甫凭借对唐玄宗的迎合与迁就，连续十九年担任宰相之职，致使大唐王朝政治昏暗，社会矛盾日益尖锐。