关于纪晓岚好色的记载，倒真的很夸张。清代笔记《栖霞阁野乘》记载，纪晓岚“一日不御女，则肤欲裂，筋欲抽”，编辑《四库全书》期间，轮到他值宿内廷，数日无法近女色，变得“两睛暴赤，颧红如火”。乾隆看到后以为他得了什么病，纪晓岚也不害臊，如实相告。乾隆听后，直接赏了他两个宫女，助他泻火。



另一部笔记也记载，纪晓岚“日御数女，五鼓如朝一次，归寓一次，午间一次，薄暮一次，临卧一次”。数下来，一天五次郎。



也许纪晓岚好色和好吃肉是真的，但如野史笔记所列的数据，则可能是添油加醋。因为他好写志怪小说，野史便传说他是野怪转世，以肉当饭，好色宣淫。这或许是当时对于志怪小说作者的一种偏见。