李林甫出身陇西李氏，自入仕后，从太子中允一直升迁到到御史中丞。
开元二十四年（736年），玄宗欲废太子李瑛、鄂王李瑶、光王李琚，召宰相张九龄、裴耀卿与李林甫商议。张九龄直言“太子国本，不可轻动”，裴耀卿亦附议，玄宗面露不悦。散会后，李林甫在宫中僻静处对宦官说：“此乃陛下家事，何必问外人？”这话玄宗知道后，深以为然，自开元盛世以来，玄宗不复即位之初的励精图治，贪恋享受，张九龄的据理力争在他眼中成了“迂腐”，而李林甫的话则格外入耳。
没过多久，玄宗以“不协时宜”为由，将张九龄、裴耀卿罢相，擢李林甫为中书令，正式拜相。当时左相李适之是太宗长子李承乾的孙子，出身尊贵且颇有才干，李林甫表面对其颇为忌惮，刻意讨好，其实暗怀阴谋，等待时机扳倒他，以便大权独揽。
一日，两人在政事堂闲聊，李林甫忽然凑近，语气诚恳：“适之兄，听闻华山有金矿，储量极丰，若能开采，可助国库充盈。此事陛下尚未知晓，兄若奏报，定能得陛下嘉奖。”李适之闻言大喜，他素来耿直，未察其中端倪，次日便在朝会上将华山金矿之事奏禀玄宗。玄宗听罢颇为心动，转头问一旁的李林甫：“此事当真？朕竟不知。”李林甫却缓缓躬身，语气凝重：“陛下，臣早已知晓华山有矿，只是华山乃陛下本命山，关乎龙脉气运，若贸然开采，恐伤国运，臣故而不敢奏报。”
玄宗一听“龙脉气运”，顿时脸色沉了下来，转头瞪了李适之一眼：“你身为左相，怎可不顾国运，只图财利？”李适之这才惊觉自己落入了李林甫的圈套，羞愧得哑口无言。此后，玄宗对李适之变得疏远，没过半年便将其罢为太子少保，李林甫自此独揽相权。
李林甫深谙厚黑之道，对政敌从不手软。韦坚是太子李亨的连襟，曾任陕郡太守，因主持漕运有功，深受玄宗赏识，渐有入相之势。李林甫对此颇为忌惮，便暗中设计。天宝四载（745年），韦坚奉诏与河西节度使皇甫惟明在长安会面，李林甫立刻让人奏报玄宗，称两人“私结太子，图谋不轨”。玄宗本就对太子与外臣交往心存芥蒂，当即下令将韦坚、皇甫惟明下狱。虽查无实据，却仍将韦坚贬为缙云太守，皇甫惟明贬为播川太守，后来又将两人赐死。太子李亨也因这事吓得与韦坚之妹韦妃离婚，才算逃过一劫。
杨慎矜曾是李林甫举荐的官员，因精通财赋，深得玄宗信任，官至御史中丞。李林甫见杨慎矜渐受重用，恐其日后威胁自己，便又生歹心。他暗中唆使御史中丞王鉷弹劾杨慎矜“私藏图谶，欲复辟隋室”，依据是杨慎矜的祖父曾是隋朝大臣。玄宗震怒，将杨慎矜下狱审讯，李林甫又让人伪造证据，最终杨慎矜被赐死，家人流放岭南。杨慎矜到死都没明白，自己昔日的“恩人”为何会对自己痛下杀手。
玄宗后期，大唐边疆战事频繁，节度使手握重兵，权力极大。按照惯例，边疆节度使若立有大功，往往会被召回朝廷任宰相，这让李林甫深感不安——他担心这些战功赫赫的边将会分走自己的权力。思来想去，李林甫终于想出了一个“万全之策”。
天宝六载（747年），李林甫向玄宗上奏：“文士为将，多怯于战阵，若遇强敌，恐误国事。不如用寒族、蕃人为节度使，蕃人善战，寒族无党援，更易控制。”玄宗此时正沉迷于声色犬马，听闻李林甫的建议，觉得颇有道理，便欣然采纳。
这一政策的推行，让一批胡将登上了大唐的政治舞台。安禄山便是其中最具代表性的人物。安禄山出身营州柳城的胡人，早年因骁勇善战被幽州节度使张守珪提拔，后来又因善于逢迎，得到了玄宗的青睐。李林甫见安禄山粗通文墨，且出身低微，料定他无法入相，便对其多加提拔，先后让他兼任平卢、范阳、河东三镇节度使，手握十五万重兵，势力遍及东北。
安禄山对李林甫极为敬畏。每次入长安面圣，安禄山必先去拜访李林甫。李林甫与他交谈时，总能精准地洞察他的心思，哪怕是安禄山心中一闪而过的念头，李林甫也能随口点破。安禄山每次见李林甫，都吓得汗流浃背，哪怕是寒冬腊月，也常冷汗湿透衣衫。
但李林甫没料到，他为了巩固自身权力而推行的“重用胡将”政策，却为大唐埋下了一颗定时炸弹。胡将虽善战，却多缺乏中原人的忠君思想，手握重兵后，极易滋生野心。尤其是安禄山，在李林甫在世时，因敬畏其手段而不敢轻举妄动，但他对大唐的野心早已生根发芽，只待时机成熟便要爆发。
从开元二十四年（736年）拜相，到天宝十一载（752年）病逝，李林甫在相位上坐了整整十九年。这十九年里，他凭借“口蜜腹剑”的手段，排挤了一批又一批贤能大臣。
为了掌控朝政，李林甫还严密控制言论。他曾对朝中大臣说：“诸君见陛下圣明，法令修明，何必要多言？君不见立仗马乎？食三品料，一鸣辄斥去，悔之何及！”这话便是警告大臣们少言多做，不要轻易进谏，否则便会像那些“立仗马”一样，稍有不慎便被罢官。此后，朝中大臣多噤若寒蝉，很少有人再敢直言进谏，玄宗听到的声音，大多是李林甫筛选后的“顺耳之言”。
玄宗对李林甫的信任，也到了无以复加的地步。天宝年间，玄宗沉迷于杨贵妃，将朝政几乎全部托付给李林甫。李林甫每次奏事，都先揣摩玄宗的心意，再顺势进言，从未忤逆过玄宗。一次，玄宗因关中旱灾，欲迁往东都洛阳，李林甫却上奏：“陛下，关中虽旱，但臣已让人核查，今年粮食仍有结余，足以供应宫廷。若迁往东都，不仅劳民伤财，还会让百姓不安。臣愿亲自负责粮食调配，确保陛下与百姓无忧。”玄宗听罢大喜，觉得李林甫“忠君体国”，便打消了迁都的念头，对他更加信任。
李林甫的权势，也渗透到了宫廷的各个角落。他与宦官、妃嫔交好，宫中稍有风吹草动，他便能第一时间知晓。太子李亨因多次被李林甫打压，终日惶恐不安，甚至不敢与外臣过多交往。朝中官员的任免，也多由李林甫决定，凡是他推荐的人，多能得到重用；凡是他的政敌，轻则被贬，重则丧命。当时的长安城中，百姓私下里都称李林甫为“李相公”，却无人敢直呼其名，更无人敢议论他的是非。
但权力的巅峰，往往也是危机的开始。天宝后期，李林甫的身体日渐衰弱，而杨国忠的势力却在悄然崛起。杨国忠是杨贵妃的堂兄，因杨贵妃的关系得到玄宗的提拔，官至御史大夫。杨国忠素来与李林甫不和，李林甫虽多次打压杨国忠，却因玄宗对杨贵妃的宠爱，始终无法将其彻底扳倒。
天宝十一载（752年），李林甫病逝，享年七十五岁。玄宗追赠他为太尉、扬州大都督，赐谥“文贞”，以极高的规格将其安葬。
李林甫死后，杨国忠被玄宗拜为中书令，成为新的宰相。但杨国忠无李林甫的才干，却比李林甫更加专横跋扈。他上台后，第一件事便是清算李林甫——他诬告李林甫生前与突厥阿布思勾结谋反，玄宗震怒，下令剥夺李林甫的官爵，劈开他的棺材，取出他口中的珠玉，剥下他的官服，以庶人之礼重新安葬。一代权相，死后竟落得如此下场，令人唏嘘。