开元初年升任太中允。源乾曜执政，与姜皎是姻亲，乾曜的儿源挈为李林甫求官司门郎中，乾曜一向看不起他，说“：郎官应有才和声望，哥哪里是任郎中的材料呢？”哥，是李林甫的小名。乃任他为谕德，逐步升到国司业。

宇文为御史中丞时，引李林甫与之同列，渐渐历任刑、吏侍郎。当初，吏置长都要列名榜示，以定留放，宁王心中有十人希望能选，李林甫说：“希望能黜一人以表示公正。”于是在一个人名旁注“：恐与王嘱有连，宜放冬集。”

当时武惠妃专，儿寿王、盛王尤得玄宗。李林甫借中人力士告知惠妃，愿保护寿王为万岁，于是惠妃对他恩。侍中裴光的夫人，是武三思的女儿，与李林甫有私情，力士本是自武三思家的。至裴光死，武氏就请力士推荐李林甫代为相。力士因相位重大，未敢说话。皇帝此时正因中书令萧嵩的举荐，任用了韩休，正要写诏令，武氏告诉林甫，要他去为韩休请官。韩休任宰相后，很激林甫而与萧嵩有了疙瘩。于是推荐林甫有宰相之才，惠妃也暗中撺掇，皇帝竟提林甫为黄门侍郎，不久又任礼尚书、同中书门下三品，再为兵尚书。

皇太、鄂王、光王被诬陷，皇帝废太另立，张九龄恳切劝谏，皇帝不兴，李林甫当面不说什么，退朝后却私下里与中人说：“天的家事，外人预个啥。”开元二十四年(736)，皇帝在东都洛，想回长安。裴耀卿等人建议：“农民们秋收事还未结束，待到冬天农闲再回最好。”李林甫假装跛着脚，一个人走在最后，皇帝问他脚怎么啦，他说“：我不是有病，而是想奏件事。两个都城本来就是帝王的东西，车驾要到哪一去，何需等待什么时机？即使有妨农事，赦免所过地方的租赋不就行了。”皇帝十分兴，即刻车驾西行。当初，张九龄由于文章写得好而官，为相时守正直持重的作风，而李林甫则是由于会拍得任大官，故而非常嫉恨张九龄，私下里谗陷害。皇帝想赏朔方节度使仙客实封，张九龄对李林甫说：“封赏是为了奖励名臣的大功，边将要第一功的，怎可匆忙决定，我将与你争辩。”李林甫同意在廷前各抒己见，及至见时，张九龄多方说明不可封，而李林甫则默不发言，退朝后又在背后说东西。仙客第二天来见皇帝，哭着辞谢请不加封，皇帝就更加想赏仙客了。张九龄持不可，李林甫对别人说：“天用人，有什么行不行的。”皇帝听说后，很喜李林甫的不持己见。由此更加疏远张九龄了。不久，张九龄和裴耀卿都罢了宰相职，而专任用李林甫、仙客了。当初，三位宰相就位时，两人弯腰疾趋，而林甫在中间昂首阔步毫无谦让之意，风得意的样溢在眉宇之间，观看的人偷偷议论：“一雕挟两兔。”不久，诏书下来，裴耀卿、张九龄左右丞相被免官，李林甫幸灾乐祸嘲笑说“：你们还当左右丞相吗？”里着险而送。其他公卿见了都为之战栗。此时，李林甫兼中书令。皇帝到底听了李林甫的话，杀了太瑛、鄂王瑶、光王琚三个亲生儿，天下人均觉得三人死得冤。大理卿徐峤居然胡说什么“：历来大理狱杀气盛，鸟雀不敢栖息。

如今刑断狱，死罪的一年才五十八人，乌鹊都在狱上窝了，死刑几乎弃置了。”群臣祝贺皇帝，皇帝又说这是大臣的功劳，于是封李林甫晋国公，封仙客豳国公。

皇帝将要重立太了，李林甫探得皇帝的心思，就多次称寿王。皇帝对此秘而不传，皇帝心中属意忠王，终于，寿王未能立。太已定，李林甫一则恨自己的谋划未能得逞，再则也从此事悟自己恐会有祸，于是表面上与韦亲善。韦，是太妃的哥哥，让他任要职，准备扳倒他家以动摇东的地位。

于是设计使韦犯罪狱，太上表请求与韦妃离婚以示与韦绝无往来。李林甫的计谋未达目的。杜良娣之父杜有邻与女婿柳责力彼此看不惯。柳责力生疏狂浮躁，想帮助李林甫动摇太，竟诬告杜有邻妄图有变，将杜有邻逮捕，诏令审讯，最后赐死。为此案牵连到裴敦复、李邕等人，都是李林甫平日嫉恨不喜的人，一起株连杀掉。太亦贬杜有邻的女儿杜良娣为庶人赶东。不久，又唆使济别驾魏林，诬告河西节度使王忠嗣密谋兴兵拥立太。皇帝不相信，但仍将王忠嗣贬谪京。李林甫告诉皇帝“：太一定知他的谋。”皇帝说：“我的儿一向于，怎会与外人通谋？这一定是有人故意诬陷。”李林甫多次陷害太，都没有成功。一天故作从容地说“：古代立储君，必先着重贤德，若不是对国家宗稷有极大功劳的，那谁也比不上嫡长。”皇帝沉半天才说“：庆王往年狩猎，脸被豸内伤得厉害。”李林甫答“：破了脸不是比破国些吗？”皇帝颇受惑，说：“待我慢慢想想。”不过太一直以谨慎孝顺闻名，内外都没有坏名，所以谣言飞语不能侵害他，皇帝也无理由猜疑他。

李林甫善于刺探皇帝的心意。那时，皇帝年事已，亲自听事决断渐渐倦怠，不大耐烦以法规来检校事理，却重视接对大臣，有了李林甫任宰相后，对他十分信任，毫不猜疑。李林甫又善于培养皇帝的个人望。从此皇帝安居在，沉溺在歌舞声之中。君王之德被遗忘了，李林甫每有奏请，一定先贿赂左右，窥视各动静，设法巩固皇帝的恩和信任。即使是厨夫御婢也都得到他的厚赏，所以天有些微动静林甫全都知晓。他生险，工于心计，杀人残忍，但喜怒均不形于，脸上总是很柔和地微笑，初看上去和蔼可亲，相的时间长了，就觉城府阻，终究掌握不了他的心思。公卿如果不是由他荐举而得官的，一定会获罪遭贬；依附他的，即使是无识小人，也必引荐为重臣。与他同时为宰相的，如张九龄、李适之等人，后来都遭逐斥；甚至杨慎矜、张蠧、卢幼临、柳升等几百人都被牵连，相继被杀。李林甫以王妒、吉温、罗希。。为爪牙，多次制造大案。官吏缙绅均惴惴不安，屏息不敢动。

李适之的儿李雨言曾设盛筵招待宾客，但终一天都没一个人敢去。李林甫有个堂形状像半弦月，称之为“月堂”每遇到想排挤诬陷哪个大臣了，就住到那里，思考设计如何中伤人家。假若他兴地堂来，那个人就要家破人亡了。其李岫任将作监，见父亲权势熏天灼人，悚然而惊心，曾随从父亲游后园，看见一挽重车的人，就跪着泪对父亲说：“大人长久以来位居宰相，树敌甚多，以致前途满是荆棘，哪一天祸事临，想与这个人一样恐怕还不能呢。”林甫听了很不兴，说：“形势已然如此，又有什么办法？”