历来人们都把李林甫的“马料论”当成“官场箴言”来读，殊不知他并不是在给众人传授做官保官升官的经验之谈，而是对不顺从他的官员的疾言厉色的威胁。他之所以能够独断朝纲，很大程度上就因为他能想方设法使群臣噤声。
有一个谏官不听李林甫的话，上奏本给唐玄宗提建议。第二天，就接到命令，被降职到外地去做县令。大家知道这是李林甫的意思，以后谁也不敢向唐玄宗提意见了。李林甫知道自己在朝廷中的名声不好。凡是大臣中能力比他强的，他就千方百计地把他们排挤掉。他要排挤一个人，表面上不动声色，笑脸相待，却在背地里暗箭伤人。
有一次，唐玄宗在勤政楼上隔着帘子眺望，兵部侍郎卢绚骑马经过楼下。唐玄宗看到卢绚风度很好，随口赞赏几句。第二天，李林甫得知这件事，就把卢绚降职为华州刺史。卢绚到任不久，又被诬陷说他身体不好，不称职，再一次降了职。
有一个叫严挺之的官员，被李林甫排挤在外地当刺史。后来，唐玄宗想起他，跟李林甫说：“严挺之还在吗？这个人很有才能，还可以用呢。”李林甫说：“陛下既然想念他，我去打听一下。”退了朝，李林甫连忙把严挺之的弟弟找来，说：“你哥哥不是很想回京城见皇上吗，我倒有一个办法。”严挺之的弟弟见李林甫这样关心他哥哥，当然很感激，连忙请教该怎么办。李林甫说：“只要叫你哥哥上一道奏章，就说他得了病，请求回京城来看病。”严挺之接到他弟弟的信，真的上了一道奏章，请求回京城看病。李林甫就拿着奏章去见唐玄宗，说：“真太可惜，严挺之现在得了重病，不能干大事了。”
唐玄宗惋惜地叹了口气，也就算了。
像严挺之这样上当受骗的还真不少。但是，不管李林甫装扮得怎么巧妙，他的阴谋诡计到底还是被人们识破。人们就说李林甫这个人是“嘴上像蜜甜，肚里藏着剑”（成语“口蜜腹剑”就是这样来的）。李林甫当了十九年宰相，一个个有才能的正直的大臣全都遭到排斥，一批批钻营拍马的小人都受到重用提拔。就在这个时期，唐朝的政治从兴旺转向衰败，“开元之治”的繁荣景象消失，接着出现的就是“天宝之乱”（天宝是唐玄宗后期的年号）。
李林甫在官场上混出两手绝招。一手对上，一手对下。先说对下。李林甫身为宰相，把持着选干部、用人才的大权。可他的眼光很独特，就是“非谄附者以格令持之”。也就是说，他用干部不看德能勤绩，只看是否忠心不二、死心踏地地站在他这条线上。对于正直之士、不与他同流合污的人，一概想办法铲除。
李林甫的府上有一个月堂，每当要“排构大臣”的时候，李林甫就住进去闭门不出，苦思冥想。用现在的人的话，大约就是“密谋策划”了。等到他喜滋滋地出来了，肯定不知哪个大臣不是遭贬被迫害就是要家破人亡了。
再说对上。李林甫深知，要想一手遮天，必须举好皇上这把大伞，所以时刻留心时时揣摩皇上的心思，哪里痒痒挠哪里。史称其“善刺上意”、“善养君欲”，其结果是皇上“深居燕适，沈蛊衽席”，也就是说不顾朝政繁忙国家安危，关起大门躲进后宫纵情享乐去了。
李林甫又将宫中太监、御婢一一收买妥当，每有奏请之事，“刑余之人”都会向他透露皇上的态度，皇上的一举一动尽在其掌握之中。而沉湎于声色犬马之中的唐玄宗就更是离不开李林甫为他打理朝政了。
两手搞定皇上和朝臣的李林甫，为自己斩获了极大的权力空间。可叹的是，他既无道德文章，也无经世之才。史称其“发言陋鄙，闻者窃笑”，可见连作个“重要讲话”的能力都没有。一般来说，小人得志后的所思、所想、所行，都离不开如何巩固自己的权势和地位。李林甫自然不例外。
本来，唐朝对番将的使用是有节制的，功劳再大都“不为上将”，而由汉臣文官担任节度使，如张嘉贞、王晙、张说等都是自节度使入相辅佐天子的。可李林甫对这些担当大任的儒臣们却深为忌惮，便进谗言说，夷狄未灭，原因就是文臣为将贪生怕死，不如重用番将。唐玄宗于是将安禄山、哥舒翰等擢为大将，把边地兵权拱手送给番将，终于酿成了十多年后几乎使李唐江山易帜的“安史之乱”。
唐玄宗晚年的时候，与给事中裴士淹品评大臣，论及房琯时说“此非破贼才也”，至宋璟则说“彼卖直以取名耳”，给李林甫的评价是“妒贤疾能，举无比者。”裴士淹说：“陛下诚知之，何任之久邪？”唐玄宗默然不答。是啊，明知道眼前站着的是个小人，却舍不得赶走他，反而任由其将满朝文武修理成为不发一言的“仪仗马”，唐朝之由盛而衰，李林甫固然罪无可恕，坐拥深宫尽享美色的孤家寡人唐玄宗李隆基的智商和作为不更是开元前后判若两人吗！
唐玄宗开元初年时雄才大略，为人豁达，用人不疑。后来启用李林甫这样一位阴险谄媚的宰相，从来不说唐玄宗李隆基不爱听的话，这才养成了皇上听不得逆耳忠言的习惯。唐玄宗宠爱倚重李林甫。自从李林甫为宰相后，唐玄宗就深居在宫帷中，贪恋声色，恣意享乐。大臣以下的人，很少人有机会见到唐玄宗，更谈不上跟皇上奏请什么国家大事了。
不论大事、小事，都一律责成宰相李林甫去办理。李林甫虽然不通晓词赋文章，然而对官场上的事情却精明干练，恪守原有的纲常法纪，就是你再有奇才异学的官员士人，也没有破格提拔任用的机会，一切都按常轨办事。
李适之刚任宰相时，行事疏乎而不慎密，被李林甫设下圈套出卖了。一次，李林甫对李适之说："华山下面有金矿，开采了可以给国家增加财富。但是皇上并不知道啊。"李适之相信了他的话，日后，将此事上奏唐玄宗。唐玄宗非常高兴，征询李林甫。李林甫说："我很久以前就知道华山底下有金矿。但是华山是皇上的本命啊。王气所在，不可以开采金矿。因此，我不敢向皇上提起这件事情。"
唐玄宗从此特别轻视李适之，对他说："从今以后，凡是向我奏请的事，事先跟李林甫商议一下，不要太轻佻随便了。"从此，李适之的手脚被束缚住了，再也不能单独向唐玄宗奏事。李林甫在任宰相期间，凡不是经他引荐的人，他都想方设法查找你的错处，将你排挤出去，或者罗织罪名将你杀掉。由此，他的声威震动海内。所有的谏官都老老实实地拿着俸禄维持生计，谁也不敢纳谏议论朝政
李林甫虽然是唐明皇身边的大奸臣，但是，唐明皇既然能认清李白只是个诗人没有政治才华，也一定能看出李林甫身上的可取之处。他不至于一无是处，对于开元盛唐，李林甫确实自有主见，只有他才能控制各地的番将，这些番将包括安禄山。
李林甫任宰相搞得社会矛盾极其激进，一触即发，李林甫死后，安禄山趁唐朝内部空虚腐败，发动兵变。当然，唐玄宗李隆基自己也有责任，没有识人和用人之能是封建社会任何皇帝的致命伤，不应该只是指责李林甫杨国忠或者安禄山。
史称：自处台衡，动循格令，谨守格式，百官迁除，各有常度。可见他办事谨慎，纲纪严明，讲究效率。如果没有这一点，恐怕李林甫很难独揽朝政达十六年之久。虽然李林甫依法办事的目的在于个人专权，但是完善立法，对于稳定封建统治秩序也起了一定的作用。为什么天宝时期维持十多年的安定局面，原由在于此。
天宝八载(749)，咸宁太守赵奉璋拟揭发李林甫罪状二十余条，被李林甫指使御史台以妖言惑众的罪名逮捕杖杀。天宝十一载（752年），李林甫病死，享年70岁。此前，他已和杨国忠有隙，他死后，杨国忠唆使安禄山诬告李林甫与蕃将阿布思谋反，唐玄宗追削李林甫官爵，籍没其家产，子婿流配。
