上一篇《提示词工程与思维链：怎样和AI好好说话》讲清了：把需求说清楚、引导AI一步步思考，就能让它给出更好的回答。可如果它有本事把答案说得又快又漂亮，我们又怎么分辨，它说的到底是不是真的？这一篇，我们从一场真实的官司说起。

📝开头：六个不存在的判例

2023年，美国纽约的一位律师在一起诉讼中，向法院提交了一份法律文书。为了支持自己的观点，他在文书中引用了多个过往判例，每一个都有案件名称、案号和判决要点，看起来有理有据。

然而，对方律师和法官却怎么也查不到这些判例。调查后才发现：其中至少有六个判例根本就不存在——它们全部是这位律师用ChatGPT查找资料时，由AI编造出来的。更离谱的是，律师曾追问ChatGPT“这些案例是真的吗”，而它给出了肯定的回答。

最终，法院对这位律师及其同事处以5000美元的罚款，这件事也成了全球媒体报道的热点。

这种AI一本正经地编造看似合理、实则错误或根本不存在的内容的现象，被称为“AI幻觉”（Hallucination）。

如果你用过大模型，很可能也遇到过：让它推荐几篇参考文献，结果论文标题像模像样，作者和期刊也都“煞有介事”，一查却发现根本不存在。

这一篇，我们就来聊聊：AI为什么会“胡说八道”？我们又该如何应对？

🧭一、AI幻觉有哪些表现？

两类幻觉

研究者通常把AI幻觉分为两大类：

更多真实案例

–

一次昂贵的演示：2023年2月，谷歌在宣传其聊天机器人Bard时，演示中的Bard声称“詹姆斯·韦布空间望远镜拍摄了第一张太阳系外行星的照片”。但实际上，第一张系外行星照片早在2004年就已由其他望远镜拍摄。这一错误被广泛报道，当天谷歌母公司的股价大幅下跌，市值蒸发约1000亿美元。

–

航空公司的“承诺”：2024年，加拿大的一个仲裁机构裁定，加拿大航空必须兑现其网站客服聊天机器人向一位乘客“承诺”的退款政策——尽管这个政策是机器人自己“编”出来的，与航空公司的实际规定不符。航空公司辩称“机器人应对自己的言论负责”，但这一说法没有被采纳。

💡说人话：AI幻觉最危险的地方，不在于它会犯错——人也会犯错——而在于它犯错时的语气，和说对时一样地自信、流畅、有条理，让人很难察觉。

🧠二、AI为什么会“胡说八道”？

原因一：它的目标是“说得像”，而不是“说得对”

回顾第15、16篇：大模型的核心任务是预测下一个Token。它在预训练中学到的，是“什么样的文字在这里最可能出现“，而不是”什么是真的”。

当你问它要一篇参考文献时，它知道一篇参考文献“应该长什么样”：有作者名、有年份、有一个听起来很专业的标题、有一个期刊名称……于是它就按照这个“样子”，生成了一条格式完美、内容虚构的文献。

打个比方：这就像一位语文很好、但没背过书的学生参加历史考试。遇到不会的题，他不会空着，而是凭借出色的文笔，写出一段“听起来很像标准答案”的文字。老师如果不仔细核对，很可能会被糊弄过去。

这个比喻的边界：学生至少知道自己在“蒙”，而大模型并没有这个自觉——它不会意识到自己在编，正如它不会意识到自己在说真话。

原因二：记忆是“压缩”的，而不是“存档”的

第16篇讲过，大模型并没有把训练数据原封不动地存储起来，而是把知识“压缩”到了参数之中。

这种压缩是有损的，就像把一张高清照片压缩成一张很小的缩略图：大致的轮廓还在，但细节已经模糊了。

–

对于“常见知识“（比如”北京是中国的首都“），训练数据中出现了千万次，模型记得很牢；

–

而对于“冷门知识“（比如一位不太知名的学者在哪一年发表了哪篇论文），训练数据中可能只出现过寥寥几次，模型的记忆就很模糊。它会用“大概像”的内容去填补模糊的细节，于是就产生了幻觉。

人类其实也有类似的现象。心理学研究表明，人的记忆也并非“录像回放”，而是每次回忆时都在“重建”，所以我们也常常会产生“虚假记忆”——坚信自己记得某件事，但事实并非如此。

原因三：训练数据本身就有错误

大模型从互联网的海量文本中学习，而互联网上本身就充斥着谣言、错误和过时的信息。第6篇说过，数据的质量决定了模型的上限。“垃圾进，垃圾出”，模型学到了错误的信息，自然也会输出错误的信息。

此外，模型的知识停留在训练数据的截止时间（第16篇），对于之后发生的事，它要么不知道，要么可能根据过时的信息做出错误的“推测”。

原因四：训练方式“鼓励”猜测

2025年，OpenAI的研究者发表了一篇专门讨论“语言模型为什么会产生幻觉”的论文，提出了一个很有意思的观点：

现有的训练和评测方式，往往在“奖励猜测”，而不是“奖励承认不确定”。

打个比方：这就像选择题考试。如果答错不扣分，那么遇到不会的题，瞎蒙一个总比空着强——空着一定得零分，蒙一个还有可能得分。久而久之，学生就养成了“不会也要蒙”的习惯。

同样，如果评测大模型时只看“答对了多少题”，那么一个“遇到不会的就说不知道”的诚实模型，得分反而会低于一个“不会也硬答”的模型。模型在这样的“指挥棒”下，自然学会了“不懂装懂”。

研究者因此建议：评测时应当对“自信地答错”给予更重的惩罚，对“恰当地表达不确定”给予一定的肯定。这与第8篇讲过的交叉熵损失“最惩罚自信地犯错”的思路是相通的。

原因五：“将错就错”的雪球效应

大模型是一个词一个词地生成回答的，已经生成的内容会成为后续生成的依据。

一旦在某一步“说错”了，模型往往不会回头纠正，而是会顺着错误继续往下编，为前面的错误寻找“合理”的解释，结果越说越离谱。这就像撒了一个谎，就需要用更多的谎来圆。

原因六：“讨好”用户

第16篇讲过，模型经过基于人类反馈的对齐训练。而人类标注员往往会更喜欢那些顺着自己意思说、听起来很有帮助的回答。这可能让模型养成“讨好“的倾向：当用户的问题中暗含错误的前提时，它可能会顺着用户的意思编下去，而不是指出问题。

比如，你问它：“请介绍一下鲁迅的代表作《骆驼祥子》。”一个“讨好型”的模型可能会直接开始介绍，而不是先纠正你：“《骆驼祥子》的作者是老舍，不是鲁迅。”

🪙三、幻觉能被彻底消除吗？

很遗憾，以目前的技术，幻觉还无法被彻底消除，只能被尽量减少。

原因在于，幻觉和大模型最宝贵的能力，其实来自同一个机制。

大模型之所以能写诗、编故事、提出新点子，正是因为它能够生成训练数据中从未出现过的新内容。而幻觉，同样是“生成了训练数据中没有的内容”。区别只在于：前者是我们想要的“创造”，后者是我们不想要的“编造”。

说人话：让AI写一首关于月亮的新诗时，我们希望它“天马行空”；让它回答“月球到地球的距离”时，我们希望它“一丝不苟”。但对于模型来说，这两件事用的是同一套“本领”。有人形象地说，幻觉和创造力是一枚硬币的两面。

不过，好消息是，经过研究者们的持续努力，新一代大模型的幻觉问题已经比早期模型明显减轻。

🛠四、研究者们在做什么？

其中最后一种方法背后的原理很有意思：如果模型真的“知道”某个事实，那么多次回答时通常会保持一致；而如果它是在“编”，每次编出来的内容往往会不一样。

🧰五、我们该如何应对？

作为AI的使用者，我们可以做很多事情来降低被幻觉误导的风险。

提问时

–

允许它说不知道：在提示词中加上“如果不确定，请直接说不知道，不要编造”（第18篇）；

–

提供可靠的资料：把课件、论文、文档直接给它，要求它“只根据提供的材料回答”；

–

要求给出依据：让它说明信息的来源，方便你核实。

阅读回答时，警惕这些“高危区域”

以下几类内容最容易出现幻觉，需要格外小心：

⚠具体的数字：年份、统计数据、价格、百分比……⚠人名、机构名、书名和论文标题⚠引用和出处：参考文献、名人名言、法律条文、网址链接……⚠冷门、小众或最新的信息⚠医疗、法律、金融等专业领域的具体建议

核实时

–

参考文献：逐条到知网、谷歌学术等学术数据库中检索，确认每一篇都真实存在，并且内容确实与AI所说的相符；

–

重要事实：到权威来源（官方网站、正规出版物、专业数据库）进行核对；

–

换个方式追问：比如问“你确定吗？这个信息的来源是什么？”或者换一种说法再问一遍，看回答是否前后一致；

–

高风险决策：涉及健康、法律、财产等重大事项时，AI的回答只能作为参考，一定要咨询专业人士。

💡写给同学们：如果你在课程论文或毕业论文中使用了AI辅助查找资料，请务必逐条核对每一篇参考文献。引用不存在的文献，不仅会让论文失去可信度，还可能被认定为学术不端。“是AI编的”不能成为免责的理由——就像那位纽约律师一样，最终承担责任的，是使用者自己。

⚠六、几个常见的误解

误解一：“AI幻觉就是AI在故意撒谎”

不是。“撒谎”意味着明知是假的却故意说出来，需要有主观意图。而大模型产生幻觉时，并没有“欺骗”的意图，它只是按照学到的规律，生成了“看起来最合理”的内容。它并不真正“知道”自己说的是真是假。所以，“幻觉”这个词比“撒谎”更准确。

误解二：“AI说得越自信、越详细，就越可靠”

恰恰相反。AI回答时的语气和详细程度，与内容是否正确没有必然联系。一个编造的答案，可能比一个真实的答案更加流畅、更加详细、更加“专业”。不要被流畅的语言和自信的语气所迷惑。

误解三：“联网搜索之后，AI就不会有幻觉了”

联网搜索确实能大大减少幻觉，但并不能完全消除。AI仍然可能误解搜索到的内容、引用不可靠的网页，或者在总结时添加了原文中没有的内容（这正是前面讲的“忠实性幻觉”）。所以，即使AI给出了来源链接，重要的信息也最好点进去亲自看一看。

🎓七、换个角度想：批判性思维

AI幻觉问题，其实给我们每个人都提了一个醒。

在信息爆炸的时代，我们每天都会接触到海量的信息：新闻、短视频、公众号文章、朋友圈转发……其中很多信息也同样“看起来很有道理”，却未必是真的。

面对AI的回答，我们需要的能力，和面对任何信息时需要的能力是一样的：

这个说法的来源是什么？有没有证据支持？还有没有其他可能的解释？我能不能自己验证一下？

这就是批判性思维。在AI时代，它不仅没有过时，反而变得比以往任何时候都更加重要。

AI可以成为你获取信息的得力助手，但判断信息真假的责任，始终在你自己手中。

🎒一句话总结

AI幻觉，是指大模型一本正经地生成看似合理、实则错误或虚构的内容；它源于模型“追求说得像而非说得对”的本质、有损的知识压缩和鼓励猜测的训练方式。幻觉目前无法根除，我们能做的，是提供资料、识别高危内容、核实关键信息。

🤔思考题

1.

请尝试让一个大模型为你推荐5篇关于某个专业话题的学术论文，然后逐一到学术数据库中核实。有几篇是真实存在的？内容与AI的描述相符吗？

2.

文中提到“幻觉和创造力是一枚硬币的两面”。你认为在哪些场景下，我们可以容忍甚至欢迎AI的“天马行空”？在哪些场景下必须做到“零容忍”？

欢迎在留言区分享你的答案！

📚延伸阅读

–

ZiweiJietal.,SurveyofHallucinationinNaturalLanguageGeneration,ACMComputingSurveys,2023.（关于幻觉问题的综述）

–

LeiHuangetal.,ASurveyonHallucinationinLargeLanguageModels,2023.（由哈尔滨工业大学等机构的研究者撰写，系统梳理了大模型幻觉的类型、成因与对策）

–

AdamTaumanKalaietal.,WhyLanguageModelsHallucinate,OpenAI,2025.（文中“选择题考试”观点的出处）

下期预告：既然AI在“闭卷考试”时容易“编答案”，那能不能让它“开卷考试”？第20篇《RAG：给AI配一个“外挂知识库”》将带你了解：检索增强生成是怎样工作的？为什么说它是目前企业应用大模型时最常用的技术之一？