听了这些表面是关心自己、实际则是诅咒自己的话，李林甫气得青筋暴涨，呼吸急促，一口气没接上来，导致喉咙发痒，开始剧烈地咳嗽起来。站在旁边照顾的李岫弯腰将李林甫扶起，在背后放置一个大靠枕。李林甫背倚靠枕，又咳了几声后，才慢慢得到一些缓和。杨国忠心里暗自得意，想着：“一个垂死挣扎之人，还想要跟我杨国忠争斗吗？哼，你李林甫以前不断地压制和排挤我时，可曾想到竟有今日这种状况啊？谁要压制和排挤我，我杨国忠一辈子都不会忘记，如果大权在握，必将百倍报复。此人活着时；我要报复；此人死了后，我也要报复。”
李林甫知道自己可能熬不过这个雪花飘飞的冬天了，无奈地说：“杨兆尹，本相始终认为你是大唐罕见之才，数月前向圣人举荐你兼领剑南节度使，目的无非是让你熟悉地方军政事宜，以待条件成熟后，就能轻松回长安担任更高职务了。现在你提前回长安探视本相，说明本相已是枯木朽株，活不到几日了。”说到伤感处，眼泪止不住地往下流。杨国忠心里嘲笑着想：“这个狡猾的老狐狸，死到临头，还想做个顺水人情，以为这样就能让我对你产生好感。呸！我杨国忠是绝不会放过你的。”嘴上却说：“李相国切勿悲观，或许只是目前天气寒冷、身体恢复较慢而已。等到明年开春、天气渐暖，李相国就可变得神采焕发了。”李林甫非常明白，其实杨国忠巴不得自己早点死去，只有这样，他才可以坐上右相的位置；与其如此，还不如直截了当地告诉他，请他在自己过世后，坐上右相的位置，也能显得自己慷慨大度，便说：“如今，圣人年迈体衰、精力减弱，需要一个得力的右相来协助。本相已是垂死之人，无法再为圣人分忧，而杨兆尹年少有为，是大唐将来担任右相的最佳人选。本相去后，还望杨兆尹能负重致远，担任右相，好好治理大唐，再续繁华盛世。”
杨国忠心想：“古人曰，‘鸟之将死，其鸣也哀；人之将死，其言也善。’李林甫主动让我在他去后担任右相，可能真是肺腑之言。”便说：“李相国勿用多想，安心卧床养病，以求身体尽早恢复正常，才是当前应做之事。至于以后谁能担任右相，杨某相信，圣人一定会做出公正安排的。”李林甫见杨国忠反应平淡，心里在失落的同时，隐隐生出一种不祥的预兆。
杨国忠提前回长安探视病重的李林甫，引起了御史大夫靳平晖的担忧，因为自己的职务是李林甫从杨国忠手里公开抢过来的；另外，大理寺卿孟汝慎上次从杨府出来后告诉自己，杨国忠直接拒绝了他的投靠，说除非李林甫离开了相位，才可以考虑此事。现在，李林甫已病入膏肓，无药可医，若是死了，杨国忠可能就会接受孟汝慎；到了那时，自己很难再有机会除掉他，帮好友黄尧良报仇了；必须赶在杨国忠接受他前，想尽一切办法将他除掉。而李林甫死后，杨国忠毫无疑问会担任右相。李林甫到底还能活多久，自己并不清楚。如何才能尽快除掉孟汝慎呢？靳平晖认真思索起来，过了一阵，终于想出一个借刀杀人之计，决定再次前往相府，探视病重的李林甫。
天宝十一载（752年）十一月二十四日，一个白雪皑皑的日子里，居于大唐相位十九年的李林甫终于没能熬过寒冷的冬天，一命呜呼。李林甫病逝后，由诸子发丧于平康坊的宰相府邸。唐玄宗追赠李林甫为太尉、扬州大都督，并赐班剑武士、西园秘器，对外发布讣告；不久，又任命杨国忠为右相，并兼吏部、兵部尚书，其余职务照旧。在杨国忠的举荐下，京兆府尹鲜于仲通担任了京兆尹。
成为百官之首的右相，杨国忠仍有一些顾虑，心里太清楚了，这是李林甫生前担任的最高职务，文武百官早已习惯了李林甫的权威，对他们今后能否像服从李林甫那样服从自己，没有太大把握；因此提高自己在朝中的权威，大力贬低李林甫的形象，就变得刻不容缓了，同时也可报李林甫生前不断排斥自己的刻骨之仇。看见刚进入长安的安禄山后，杨国忠想出了一个贬低李林甫形象的办法。
杨国忠知道，李林甫在世时，安禄山对他十分畏惧，就连在他面前说话都是小心翼翼，生怕被他抓住什么把柄；即便在寒气逼人的冬天，安禄山发现他沉下脸后，也会吓得浑身直冒冷汗。鉴于这种特点，杨国忠决定找到安禄山，一起商量怎样报复死去的李林甫。明白了杨国忠的来意后，安禄山点头同意。经过反复商量，二人决定诬陷李林甫生前曾和一个叛乱将领阿布思结为父子，多次共同图谋造反。为了落实计划，安禄山还专门派阿布思部落的降将进入长安作证。之后，二人将李林甫图谋造反之事奏报唐玄宗。唐玄宗大为震惊，下令三司共同审讯此案。
于是，杨国忠神气活现地带着刑部尚书钟文起、御史大夫靳平晖、大理寺卿孟汝慎及大量左金吾卫士卒前往李林甫的相府，进行全面搜查。目睹此景，府里所有人员惊慌失措，噤若寒蝉，任凭摆布。此时，李林甫的一个女婿、谏议大夫杨齐宣担心自己受到牵连，赶紧出来附和杨国忠，诬陷李林甫生前确实曾多次和阿布思共谋造反。杨国忠甚为满意，说只要你肯出面作证，受到的牵连定然便会少一些。杨齐宣连连点头致谢，接着又先心虚地看了一眼站在杨国忠旁边的孟汝慎，然后从衣袖里拿出一封书信，谨慎地交给杨国忠，说李林甫过世后，自己和内人有一日去寝房收拾李林甫的物品，无意间在紧靠床榻的一个柜子里发现了这封书信，不知是谁写的，低头看去，只见信封上写着“右相李林甫亲启”的字样，信封边沿已经拆开；当时，自己觉得好奇，又见寝房除了内人外，再无别人，便打开信封，取出书信；看到一半时，吓得脸色大变，不敢再看下去了，将书信装进信封里。内人询问何人写的书信，自己只说是一个朝中官员写的书信，不能透露详情；内人也没有在意。自己本想将书信放回原处，可又一想，一旦别人发现此书信，传了出去，必会引起世人对朝中重臣不和的议论，影响甚坏，于是藏在身上，保留至今。目前，朝廷三司共同审讯已故的李林甫，自己不敢隐瞒下去，将此书信交给前来搜查的、也是里面涉及的主要人物、当今右相杨国忠。
杨国忠接过书信，仅仅看过数行，便沉下脸，再继续看下去，越发变得怒目圆睁，最后对站在旁边的孟汝慎骂道：“孟汝慎，你果然乃口是心非之人，竟敢公开戏弄本相，本相怎能轻饶了你？”说完，将书信毫不留情地朝孟汝慎的脸上扔去。
孟汝慎心惊胆战，不知发生何事，弯腰捡起掉在地上的书信，仔细一看，居然是以本人名义写给李林甫的，不由得大吃一惊；看完书信，才知道内容说的是：由于李林甫病情严重，不能过久交谈，本人只好写封书信详说；为了早日除掉政敌杨国忠，本人想出一个妙计，假借害怕李林甫的阴险毒辣，悄悄前去投靠杨国忠，信誓旦旦地说本人若能和杨国忠联起手来，保证能迅速击溃李林甫，夺得相位；等杨国忠信任并收留后，本人再不动声色地找到他的过错，奏报圣人，将他贬黜，赶出长安，永绝后患；希望李林甫发现本人频繁接近杨国忠时，不必感到愤怒，因为本人的所作所为都是在帮其巩固相位。
其实，此书信是靳平晖找人模仿孟汝慎的笔迹和口吻所写。通过前段时日在相府的探视，靳平晖大胆断定，病重的李林甫或将不久于人世，之后必遭杨国忠的报复，严重的话，甚至还会被抄家；经过深思熟虑，便设下计策，准备借刀杀人。接着，靳平晖将模仿孟汝慎的笔迹和口吻所写的书信藏在衣袖里，再次前往相府探视。到了寝房，靳平晖看见李林甫睡得正香，周围并无一人，迅速拿出书信，撕开信封口子，放在紧靠床塌的一个柜子里。果然，仅过了半个月，李林甫呜呼哀哉，永远闭上了眼睛；而事情的发展正如靳平晖事先预料的那样顺利。
此时，孟汝慎激动地辩解说：“这、这封书信不是我写的，定是有人栽赃陷害。杨相国，我冤枉啊，我真的冤枉啊！”杨国忠冷冷一笑，说：“冤枉？谁会冤枉你？分明是你言行不类，妄图以欺骗手段获得本相信任，然后寻机加害本相。幸亏本相早有警惕，不然就要栽在你这个卑鄙无耻之人的手里。此刻，你赶快离开这里，不得参与任何搜查，滚！赶快滚！”
目睹此景，靳平晖心里颇为得意，但仍装模作样地上前劝道：“杨相国，还请息怒。下官以为，孟卿也许真是被人栽赃陷害，因为孟卿去年就不想跟随李林甫……”杨国忠更加火冒三丈，大声骂道：“靳平晖，如果你不想被牵连进来，就闭上嘴，否则本相对你同样不客气。”靳平晖吓了一跳，觉得杨国忠的性格粗鲁野蛮，跟已故的李林甫差别很大，故而显出一副害怕的神情，立即退到旁边，不再说话。
本来也准备帮孟汝慎求情的钟文起吓得走到别处，指挥左金吾卫士卒加紧搜查。孟汝慎深知杨国忠的禀性，不敢继续辩解下去，只得仰头长叹一声，然后灰溜溜地离开相府。
搜查完毕，杨国忠等人并未找到李林甫图谋造反的任何证据。并不甘心的杨国忠仍对唐玄宗摇唇鼓舌，百般诬陷李林甫。一气之下的唐玄宗下令削去李林甫的所有官爵，抄没全部家产，并将他的诸子除名，流放岭南和黔中等偏远地方，包括李北裕在内的五十多个亲戚和党羽一同被贬。此外，唐玄宗还命人劈开李林甫的棺木，挖出李林甫嘴里含着的一颗大珍珠，剥掉身上的金紫朝服，改用小棺木，以庶人之礼重新安葬。