有一天，唐玄宗在勤政楼上看风景，兵部侍郎卢绚恰好骑着一匹白马路过勤政楼。卢绚气质优雅，玉树临风，唐玄宗一看，简直惊呆了，忍不住对身边宦官夸赞道：“ 这人简直是张九龄再生啊！” 这话传到李林甫耳朵中，他气得咬牙切齿。
张九龄风度翩翩，是唐朝知名帅哥，尽管后来因为被李林甫排挤，而被贬到地方为官，唐玄宗还是没有忘记张九龄，见到任何美男子都忍不住会拿来和张九龄比较一番，而李林甫本就仇恨张九龄，听说卢绚被皇帝夸成张九龄再生，他就在琢磨该怎么对付卢绚，以免卢绚被皇帝重用。皇帝也是看脸的，特别是唐玄宗，十分了解唐玄宗的李林甫自然不愿看着卢绚成为皇帝身边新的红人，于是心生一计。
李林甫找到卢绚的儿子，和对方套近乎。当朝宰相亲自来和自己聊天，卢家公子自然觉得兴奋不已，李林甫很快进入正题，说道：“ 令尊为人处世素来有名望，是一个不可多得的好官，如今交州和广州一带缺乏有才干的官员，圣上准备派他去大干一番呢！” 广州在现代虽然是繁华的大都市，然而在古代那就是荒凉之地，通常都是被贬被流放才会去的地方，卢家公子知道大事不妙，还没想好该怎么说，李林甫又说话了：“ 你也知道，这地方太偏远，令尊身体恐怕不能适应，但如果不去就是抗旨，我呢，是替你父亲着想，如今只有一个办法，就是让令尊主动请求调任太子宾客之类的职位，去东都洛阳就任。你觉得怎样呢？”去东都洛阳就等于养老，都是闲职，对于想要做出一番事业的人来说并不是好去处，然而和去岭南之地受苦相比又好太多，卢家公子自然不会想到李林甫心思如此歹毒，回去后就把事情转达给了父亲，卢绚不知道自己中了圈套，还感谢李林甫的大恩大德，第二天就申请去了洛阳任职。 李林甫是出了名的心胸狭窄，容不下有才之人，总怕被别人比下去，加上自己本身没有什么文化，因此尤其嫉恨才子，比如张九龄，张九龄是出了名的才华横溢，靠自己考取的功名，也因此看不上靠关系走捷径上位的李林甫，有时总忍不住讥讽对方，却没想到因此被李林甫陷害，最终被罢免了宰相之位，贬去了地方。张九龄走后，唐玄宗还是对张九龄的风度气质念念不忘，每次有人推荐人才，他都会问道：“ 风度得如九龄否”，这也让李林甫更加仇恨张九龄，他没文化也没气质也没品德，张九龄有的他都没有，怎能让他不恨呢？就算是长得像张九龄的人，他都容不下。李林甫好话说尽坏事做绝，他总是擅长说人好话，却在私底下做害人的勾当，也因此司马光在《资治通鉴》里评价李林甫口蜜腹剑 “尤忌文学之士，或阳与之善，啖以甘言而阴陷之。世谓李林甫‘口有蜜，腹有剑’”。
