李林甫，出身宗室，其曾祖父叔良，是唐高祖李渊的从父弟，封长平王。可是，到了祖父孝斌，未能袭封王爵，官至原州长史；其父思诲，更是官仅扬府参军。所以李林甫一家在宗室中地位并不显赫。
唐玄宗上台之初，李林甫年龄尚轻，既无资历，亦未立过殊功。但是，毕竟凭着宗室关系，他很快从千牛直长，迁为太子中允。
后来，又得舅舅的帮助和提拔，官运更是亨通。他的舅舅就是当时朝廷中权势极大的楚国公姜皎，姜皎对这个外甥十分喜爱，在官僚面前往往为之延誉。
特别是源乾曜为侍中时，姜皎的妹妹嫁与源乾曜的侄孙源光乘，二大官僚家庭结成了姻亲，李林甫也因此攀上了这层血缘关系，得到了宰相源乾曜的支持。
有一天，源乾曜的儿子源洁对父说：“李林甫求为司门郎中。”源乾曜考虑再三，回答说：“郎官须有素行才望高者，哥奴岂是郎官耶?”哥奴，乃李林甫小名。可见，这时年轻的李林甫在德才、声望方面都还低微，要任职位较高的郎官，在朝廷中还很难通过。但他毕竟是姜皎的外甥，源家的亲戚，所以过了数日，在源乾耀的推荐下，李林甫还是被任为太子谕德。以后，又累迁至国子司业。
开元十四年(726),李林甫又通过有权势的宇文融的关系，升任为御史中丞，历刑、吏二部侍郎。
这时，在宫廷内部，武惠妃深得玄宗宠爱，想立自己的儿子为太子，因而与太子瑛间的矛盾日趋尖锐。李林甫为了解玄宗的动静和意图，结交宫中宦官，所谓“多与中贵人善”。
当他探知武惠妃的意图，即通过宦官向武惠妃谄媚投靠，提出“愿保护寿王”(支持立惠妃儿子寿王瑁为太子),以换取这位妃子对他的支持。
而武惠妃要想达到废太子瑛立自己的儿子为太子的目的，需要取得外廷官僚的支持，因此对李林甫的投靠十分高兴，便在玄宗面前为他说好话。
此外，李林甫又与侍中裴光庭妻子暗通私情。裴妻乃武三思的女儿，“诡谲有材略”。裴光庭一去世，武氏立即去找高力士，请他向玄宗要求准许以李林甫取代其夫侍中之位。高力士本出武三思家，对武氏的要求无法推却。但是，选择宰相是朝廷的大事，当时的玄宗对此是极为重视的，高力士虽得宠信，还是不敢直接向皇帝提出。
这时，玄宗与中书令萧嵩商量，准备提尚书右丞韩休为侍中。任命的诏书正在起草，高力士赶快将这一消息透露给武氏，要李林甫去转告韩休。韩休任宰相后，果然“甚德林甫”。
李林甫又取得了一位宰相对他的支持。以后，韩休直接出面推荐李林甫为宰相，武惠妃在宫内又“阴助之”,就这样，李林甫得任为黄门传郎。更重要的是玄宗对他“眷遇益深”,在政治上为他提供了一条飞黄腾达的路。
黄门侍郎是门下省仅次于侍中的副职长官，李林甫担任了这一官职，也就踏上了升入宰相高官的最后一个台阶。何时担任宰相，只是时间问题了。
由于李林甫的善于钻营，取得了玄宗的好感与信任，到了开元二十三年
(735),玄宗以张九龄与裴耀卿为中书令、侍中的同时，任命李林甫为礼部尚书(寻历户、兵二尚书)、同中书门下三品，正式担任了宰相。
同时，三人并加银青光禄大夫，在朝廷形成三巨头任宰臣的政治格局。从此，李林甫一步步地左右政局，集军政大权于一身。
令人深思的是，最终把李林甫推上相位的居然是以耿直出名，深受名相宋璟赞赏的韩休。显然，连韩休这样一位敢于向玄宗进谏的名臣也被这个手段高明的李林甫瞒过了。
李林甫“面柔而有狡计，能窥伺人主意，故骤历清列，为时委任。而中官妃家，皆厚结托，伺上动静，皆预知之，故出言进奏，动必称旨”。
唐玄宗用李林甫为相之前，曾征求过张九龄的意见，张九龄认为："宰相系国安危，陛下相林甫，臣恐异日为庙社(朝廷之意)之忧。"其实这时玄宗已经看中了李林甫，张九龄反对也无济于事。
李林甫对于张九龄虽然忌恨，表面上仍曲意奉事，因为张九龄“方以文学为上所重”,地位毕竟比自己高，而且在统治集团中有一定影响，不敢掉以轻心。但当他看到张九龄与玄宗在许多问题上存在着分歧，于是，“巧伺上意”,千方百计地附和玄宗，并进而“日夜短九龄于上”,利用各种机会离间玄宗与张九龄的关系，削弱玄宗对九龄的信任。
李林甫与张九龄间的矛盾，就其性质来说，是统治集团内部争权夺利的斗争。也是吏士派与文学派之间矛盾的又一次冲突。李林甫非科举出身，其水平“仅能秉笔”,对于“有才名于时者尤忌之”,所任用的人多是文士中的“阖茸者”。
由于李林甫的学识水平不高，在负责吏部典选时闹过不少笑话。李林甫常把璋写成了摩。璋，乃玉器名，而摩即獐，畜生名。一字之差，失之千里，令很多人暗笑。
李林甫所推荐的户部侍郎萧灵，也是个不学无术的人。有一次，对着中书侍郎严挺之的面，把“伏腊”读为“伏猎”。严挺之遂对中书令张九龄说：“省中岂容有‘伏猎侍郎’!”于是，萧灵被贬为岐州刺史。这些，看起来打的是“错别字”的官司，其实深刻地反映了文学派官员对吏士派官员鄙视的态度。
当然，以李林甫为代表的吏士派势力并不弱，他们虽然舞文弄墨不及文学之士，但处理朝政的实际才能一般要比他们强。更何况，李林甫得着唐玄宗的眷遇，在宰臣三巨头中，并不是无足轻重的地位。
张九龄与严挺之友善，欲引以为相，对严挺之说：“李尚书(李林甫，时任礼部尚书相)方承恩，足下宜一造门，与之款曜。”严挺之一向负气清高，薄李林甫的为人，说什么也不愿去拜访这个宰相，因而李林甫恨之入骨。
张九龄与李林甫的矛盾冲突，是大官僚集团中两大势力争夺最高权力的斗争；另一方面，又是唐玄宗与张九龄在一系列重大问题上(诸如赏张守珪边功、赦免安禄山及边将牛仙客入相、废立太子，等等),产生分歧的折射结果。
李林甫利用一切机会削弱张九龄的势力，而唐玄宗则怂恿李林甫攻击张九龄，终于，使李林甫抓到了绊倒张九龄等人的筹码。
事情是由严挺之引起的。严挺之的前妻，因故离异，重嫁蔚州刺史王元琰。元琰坐赃罪下三司(刑部、大理寺、御史台)审理，严挺之极力设法为之营解。李林甫趁机将此事派人密奏玄宗，玄宗不加查核分辨，即把三位宰相召来，说：“挺之为罪人请属所由。”表示要惩办严挺之包庇亲属之罪。
张九龄辩解说：“此乃挺之出妻(离婚之妻),不宜有情。”玄宗竟不耐烦地说，虽离婚仍有私情，张九龄无法为严挺之辩白。
于是，严挺之被贬为洛州刺史，王元琰流逐岭南。这还不算，玄宗又以侍中裴耀卿和中书令张九龄“阿党”的罪名，分别罢去相位，贬裴耀卿为尚书左丞相，张九龄为尚右丞相，不再参与政事。同时，玄宗任命李林甫兼中书令，并以张九龄曾竭力反对的牛仙客为工部尚书、同中书门下三品，领朔方节度使。这是开元二十四年(736)年末的事。
第二年四月，监察御史周子廷当延弹劾牛仙客，认为他无才无学，滥居相位，不能称职，并引谶书为证，说牛姓为相，对唐廷不利。
周子谅是张九龄引荐的，所以他的弹劾，不仅仅是针对牛仙客一人，而是张九龄为代表的文学派对李林甫为代表的吏士派的最后一次反击。然而，一切都无济于事了。玄宗对周子谅的弹劾十分恼火，大发雷霆，当即令侍卫将周子谅痛打于殿庭，死而复苏，旋即又杖之于朝堂，流放滚州，行至蓝田而死。
李林甫又提醒唐玄宗，“子谅，张九龄所荐也”。于是，玄宗又下令贬张九龄为荆州(治今湖北江陵)长史，逐出京师。
在贬逐张九龄的第二天，玄宗又立即宣布废掉了太子瑛。这也是张九龄在相位时竭力反对的。
这一系列事件的连锁反应，说明张九龄的罢相不是孤立的事件。表面上，这是吏士派官员对支持太子瑛的文学派官员的一次沉重打击；实质上，与其说是李林甫搞垮了张九龄，毋宁说是唐玄宗利用李林甫和张九龄间的矛盾，搬掉了妨碍自己随心所欲的绊脚石。
李林甫任中书令后，欲自专大权，阻止群臣向玄宗进谏，向谏官们明白宣布说：“今明主在上，群臣将顺之不暇，勿用多言，诸君不见立仗马乎?食三品料，一鸣辄斥去，悔之何及!”有位补阙杜琏曾不顾李林甫的威严，还是上书言事，当即被黜为下邦县令。从此，“谏争路绝矣”。不仅一般群臣不敢进谏，连专负监察进谏之责的谏官们也只好沉默不言了。
从此，玄宗固然可以随心所欲地行事，听不到臣下的反对声；李林甫也如法炮制，得以自专大权，听不到反对声。这是玄宗所没有料及的。
当然，这种局面的形成，归根结底正是唐玄宗本人造成的，也是他长期当政后志得意满、自以为是的结果。如自从开元二十四年(736)玄宗从东都洛阳回到长安后，由于长安积蓄稍丰，不需要再做“逐粮天子”东巡洛阳，免除君臣上下的劳顿，玄宗以为这都是宰相李林甫的功劳。
有一天，玄宗对宦官高力士说：“朕不出长安近十年(自开元二十四年至天宝三年),天下无事，朕欲高居无为，悉以政事委林甫，何如?”高力士本是玄宗的内廷心腹，玄宗经常向他征求有关政事的意见。因此，高力士率直地回奏说：“天子巡狩，古之制也。且天下大柄，不可假(借)人，彼(李林甫)威势既成，谁敢复议之者!”高力士的这些回答并没有错，这也是玄宗以往维护皇权专制的策略。
但是，一向善于窥测形势的高力士，这时却不察玄宗在思想上已起的变化，他对处理实际政务已逐渐失去兴趣，对没完没了的政事已感到厌烦了。
因此，高力士的话一出，玄宗即面露“不悦”之色。高力士知道闯了祸，立即顿首自陈：“臣狂疾，发妄言，罪当死!”玄宗复又眉开眼笑，为高力士摆酒，以缓和他和高力士之间的尴尬局面，左右宦官也趁机高呼“万岁”
从此，高力士“不敢深言天下事矣。”这不仅是因为高力士害怕城府深邃、手段阴狠的李林甫，还在于他深知，这一切都是主子玄宗的旨意!