# AI 幻觉：聊天机器人为什么会编造，以及怎么核对 > AI 幻觉就是看似合理的假话：一个写得很流畅、内容却是错的或编造出来的回答。它的出现，是因为模型预测的是最可能的文字，也因为训练和评分常常奖励猜测，而不是承认自己拿不准。凡是重要的说法，在你亲自打开来源、找到支撑的那句话之前，都当作未经核实。 Mindket 编辑部 · 发布于 2026-11-04 · 更新于 2026-11-05 · https://mindket.com/cn/learn/ai-basics/ai-hallucinations ## 要点 - 幻觉是看似合理的假话，流畅的文笔会把它藏起来。 - 模型会猜，部分原因是训练和评分奖励猜测，而不是奖励说“我不知道”。 - 允许它说“我不知道”、先要引文、把两次运行对比一下，能降低风险，但都无法消除风险。 - 亲自打开来源，找到那句话，涉及健康、钱、法律和要发布的内容时尤其如此。 ## 开始之前 你需要一个聊天窗口，和一个能拿真实材料去核对的回复，比如你自己的简历、一本你很熟的书，或者一个公开的网页。不用写代码。这些练习是为了养成核对的习惯，并不是给哪家厂商打分。 ## 用五个步骤核对一个 AI 回答 1. 把说法标出来。给回复里的每个名字、数字、日期、引文和链接划上线，这些是你能拿去对照来源的部分。 2. 问每条说法出自哪里，然后打开来源。Google 的 [Gemini 帮助](https://support.google.com/gemini/answer/14143489)说，并非所有回复都附带相关链接或来源，所以没有链接是常事。有链接的话，链接指向的内容也必须真的包含回答所归给它的那句话。 3. 给模型留一条退路。加上一句：“如果你不确定，就直说，不要猜。” Anthropic 的[指南](https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations)说，明确允许模型承认不确定，可以大幅减少错误信息。 4. 你提供文档时，先要逐字引文，再要回答。同一份指南还建议，让模型撤回任何它拿不出引文支撑的说法。 5. 换一个新对话把问题再问一遍，对比两次的结果。指南说，多次运行之间不一致，可能说明出现了幻觉。几次结果一致时，重要的事实仍然要核对，因为一致并不等于正确。 ## 模型为什么会编造 Google 的[机器学习课程](https://developers.google.com/machine-learning/crash-course/llm/transformers)说得很直接：大语言模型会产生幻觉，也就是它们的预测经常含有错误。模型写的是最可能的下一个 token，第一课已经讲过，所以一句话可以同时既流畅又是假的。 OpenAI 的研究人员在 [2025 年的一篇论文](https://arxiv.org/abs/2509.04664)里往前走了一步。他们把幻觉定义为看似合理的假话，并论证模型之所以产生幻觉，是因为训练和评估的做法奖励猜测，而不是承认不确定。他们打的比方是面对难题的考生。在“留空和答错都是零分”的评分规则下，猜一下从来不吃亏。论文开头的例子是：问一个语言模型某人的生日，三次尝试给出了三个错误的日期。他们提出的解决办法是改变现有基准测试给答案打分的方式。 论文用十个常用基准测试的调查来支撑这一点，见下图。其中九个只按对错给答案打分，答“我不知道”一分不得。第十个 WildBench 会给部分分数，但作者指出，按它的评分尺度，“我不知道”的得分仍可能低于一个还算过得去、却含有幻觉的回答。 Anthropic 的[可解释性研究](https://www.anthropic.com/research/tracing-thoughts-language-model)则看进了 Claude 的内部。研究发现，拒绝回答是默认行为，而一个“已知实体”特征可以把这个默认行为关掉。出错的情形是：Claude 认得一个名字，却对这个人别的情况一无所知。 | 来源 | 说了什么 | 对你的用处 | | --- | --- | --- | | Google 机器学习课程 | 大语言模型会产生幻觉，它们的预测经常含有错误 | 把流畅的文字看作未经核实的文字 | | OpenAI 研究人员，2025 年 | 训练和评分奖励猜测，而不是承认拿不准 | 明确允许模型说它不知道 | | Anthropic 可解释性研究，2025 年 | 拒绝是默认行为，一个只认得一半的名字可以把它关掉 | 遇到冷门的人、地方和数字要格外小心 | **十个常用基准测试怎样对待“我不知道”** | | 只按对错打分 | 答“我不知道”能得分 | | --- | --- | --- | | GPQA | ✓ 是 | ✗ 否 | | MMLU-Pro | ✓ 是 | ✗ 否 | | IFEval | ✓ 是 | ✗ 否 | | Omni-MATH | ✓ 是 | ✗ 否 | | WildBench | ✗ 否 | ◐ 部分 | | BBH | ✓ 是 | ✗ 否 | | MATH (L5 split) | ✓ 是 | ✗ 否 | | MuSR | ✓ 是 | ✗ 否 | | SWE-bench | ✓ 是 | ✗ 否 | | HLE | ✓ 是 | ✗ 否 | 来源：[OpenAI 研究人员的论文《Why language models hallucinate》表 2](https://arxiv.org/abs/2509.04664) (2026-11-05 查阅) ## 为什么有了来源链接，核对也没有结束 Microsoft 的[应用说明卡](https://learn.microsoft.com/en-us/copilot/plan/microsoft-365-copilot-application-card)说，在需要依据信息的场合，Copilot 力求用可靠的来源来回应，但 AI 仍可能编造听起来合理、实际上并不准确的内容。即使是从权威的网络数据里取材，回复也可能曲解那些内容，也可能不够准确、不够新、不够可靠。 说明卡还补充了第二种情形：Copilot 综合多个来源的内容时，回复里可能出现那些来源里没有的信息。Anthropic 在指南的最后几行给了一条通用的规则。 > 这些技巧虽然能明显减少幻觉，但不能把它们完全消除。一定要核实关键信息，尤其是高风险的决定。 > > Anthropic, Claude API 文档, [Anthropic：减少幻觉](https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations) (2026-11-04 查阅) ## 一个任务该核对到什么程度 核对要花时间，所以要和风险的大小相配。下面的分级是我们对各厂商警告的解读，不是厂商的标准。Microsoft 的说明卡把医疗和金融工作列为高风险领域，还警告说，不要把它用在可能影响一个人的法律身份，或者影响他获得信贷、就业、住房和保险的场合。 | 任务 | 风险 | 怎么做 | | --- | --- | --- | | 想名字、列提纲或头脑风暴 | 低 | 读一遍，留下你喜欢的 | | 总结你贴进去的文档 | 中，因为总结里可能加进文档里没有的细节 | 抽查三条说法，对照原文 | | 要发布的引文、数字、日期或链接 | 高 | 打开每一个来源，找到那一行 | | 涉及健康、钱、法律或安全的决定 | 最高 | 把 AI 当作帮你向专业人士提出更好问题的工具 | ## Andrej Karpathy 说模型是“造梦机”，Rob Freund 讲法庭里的假判例 Andrej Karpathy 是 AI 研究者和教育者，OpenAI 的创始成员之一。他在 [2023 年 12 月 9 日的一条 X 帖子](https://x.com/karpathy/status/1733299213503787018)里写道，从某种意义上说，大语言模型做的全部事情就是产生幻觉。提示词开启一场梦，大多数时候这场梦会落到有用的地方。只有当它飘到我们认定是错误的地方，我们才把它叫作幻觉。 他为聊天助手列出的补救办法里，有比较多次生成的结果，也有用真实文档给回答定锚，这正是上面的第 4 步和第 5 步。为品牌、机构和创作者服务的律师 Rob Freund，在 [2025 年 6 月 30 日发帖](https://x.com/RobertFreundLaw/status/1939805015423820183)讲了法庭里的一件事。 美国佐治亚州的一个初审法院，在一份裁定里引用了 AI 编造的判例。上诉法院撤销了那份裁定，可对方的律师又在上诉材料里提交了更多编造的判例。 法庭裁定属于上面表格里风险最高的那一行，而这些判例骗过了一位初审法官。一个名字、判例、引文或数字，在进入你要签字、提交或发布的东西之前，先自己打开来源，把它找出来。 > 幻觉不是 bug，而是大语言模型最了不起的特性。有幻觉问题的是大语言模型助手，我们应该解决它。 > > Andrej Karpathy, AI 研究者和教育者，OpenAI 创始成员之一，引文为译文, [X](https://x.com/karpathy/status/1733299213503787018) (2026-11-05 查阅) [![Andrej Karpathy（@karpathy）2023 年 12 月 9 日在 X 上发帖，标题是“论幻觉问题”：从某种意义上说，幻觉就是大语言模型做的全部事情，它们是造梦机](https://mindket.com/blog/shots/x-karpathy-dream-machines.webp?v=903f49f70c5c)](https://x.com/karpathy/status/1733299213503787018) Andrej Karpathy 在 X 上，2023 年 12 月 9 日 [![Rob Freund（@RobertFreundLaw）2025 年 6 月 30 日在 X 上发帖：佐治亚州一个初审法院在一份裁定里引用了 AI 幻觉编造的判例，上诉法院撤销了那份裁定](https://mindket.com/blog/shots/x-robertfreundlaw-hallucinated-caselaw.webp?v=c5acfca2aaa0)](https://x.com/RobertFreundLaw/status/1939805015423820183) Rob Freund 在 X 上，2025 年 6 月 30 日 > X 官方嵌入卡片的截图，拍摄于 2026 年 11 月 5 日，时间为 UTC。X 用“Show more”截断了 Karpathy 那条帖子的后半部分。点击截图可到 X 上打开原帖。 ## 常见错误 - 问同一个模型“你确定吗？”，把回答“是”当成核对。这只是再生成的一段文字，Anthropic 的研究发现，Claude 会编出听起来合理的步骤。 - 因为引用看着正式就信了。要打开它，找到那句话。 - 把两次运行结果一致当作证据。重复出现的错误答案，仍然是错的。 - 把一个半有名的名字当作安全的问题。Anthropic 把编造的回答，和模型认得名字却知之甚少这种情形联系了起来。 ## 自己试一试 - 请你的助手给你很熟的一位半公众人物写一段简短的生平，把每条说法标成对、错或无法核实，然后加上“不确定就直说”那一句重来一遍，对比两次。 - 贴一段文字，请它总结，并对照你的原文核对其中三条说法。 - 请它给你很熟的一个主题列出来源，打开每一个链接，数一数有几个真的包含了回答归给它们的那句话。 ## 下一课：你给模型的是什么 核对输出只涉及返回来的内容。下一课[AI 隐私](https://mindket.com/cn/learn/ai-basics/ai-privacy)讲你发出去的内容：大型聊天应用会把你发的消息保留什么，以及什么内容永远不要贴进去。 第一课[大语言模型是怎么工作的](https://mindket.com/cn/learn/ai-basics/how-llms-work)解释了错误答案背后的猜测机制，读完这一课之后值得再看一遍。 ## 自测一下 1. 下面哪一句最能说明什么是 AI 幻觉？ A. 回复出现得太慢 B. 回复拒绝了一个请求 C. 一个流畅的回复，把假的说成真的 D. 回复用错了语言 答案：C。 OpenAI 的研究人员把幻觉定义为看似合理的假话。 2. 你贴进一份长报告，想要一份可信的总结。Anthropic 的指南建议先要什么？ A. 报告里的逐字引文 B. 更有创意的总结 C. 更长的回答 D. 报告之外的额外事实 答案：A。 指南说，引文能让回复以真实文本为依据，模型拿不出引文支撑的说法应当撤回。 3. 聊天机器人给一个统计数字附上了链接，接下来你该怎么做？ A. 附了链接就可以信 B. 问聊天机器人它确不确定 C. 看着正式就转发 D. 打开链接，找到支撑这个数字的那句话 答案：D。 Microsoft 说，即使回答取材于权威的网络数据，也可能曲解那些内容，所以核对要在来源那里进行。 4. 按 OpenAI 研究人员的说法，模型为什么总在猜？ A. 它们被禁止说“我不知道” B. 训练和评分奖励猜测，而不是承认不确定 C. 它们从没见过关于这个话题的文字 D. 猜测能让它们跑得更快 答案：B。 论文论证说，模型产生幻觉，是因为训练和评估的做法奖励猜测，而不是承认不确定。 ## 常见问题 ### 新一代的模型还会产生幻觉吗？ 会。Anthropic 的指南开头就说，即使是最先进的语言模型，也可能生成与事实不符或与给定上下文不一致的文字。它给出的技巧能减轻这个问题，但不能消除。 ### 打开联网搜索就不会有幻觉了吗？ 有帮助，但不能终结这个问题。搜索只是把网页交给模型参考，答案仍然由模型来写，所以上面引用的说明卡才会警告内容可能被曲解。Gemini 的帮助还补充说，并非每个回复都带来源，所以对于带链接的回答，要把链接打开看看。 ### 幻觉就是撒谎吗？ 不是。OpenAI 的研究人员把它描述为一种看似合理的假话，成因是模型的训练和评分方式，很像考生在难题上蒙一个答案。这个说法里没有任何故意欺骗的意思。 ### 为什么 AI 说错了还显得那么肯定？ 流畅的文字是模型的拿手戏，而 OpenAI 的论文认为，评分奖励的是自信的猜测，而不是老实的“我不知道”。Anthropic 的研究在训练上也说了类似的话：模型总是被要求给出下一个词的猜测。 ### 我可以让 AI 怎么做，来减少编造的回答？ Anthropic 列了几条指令：允许它说“我不知道”，先要逐字引文，要求每条说法都用引文支撑，否则就删掉，还要告诉它只用你提供的文档，不要用它的常识。 ### 健康、金钱或法律问题，我能问 AI 吗？ 作为准备工作可以。让它解释一个术语，列出要问医生或顾问的问题，再整理出该带哪些材料。决定要交给专业人士来做，上面的表格也把这类任务评为最高风险。这个分级是我们的解读，不是厂商的规定。 ## 资料来源 - [Anthropic: Reduce hallucinations](https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations) (2026-11-05 查阅) - [Anthropic Research: Tracing the thoughts of a large language model](https://www.anthropic.com/research/tracing-thoughts-language-model) (2026-11-04 查阅) - [Anthropic: Glossary](https://platform.claude.com/docs/en/about-claude/glossary) (2026-11-04 查阅) - [Kalai, Nachum, Vempala and Zhang (OpenAI): Why language models hallucinate](https://arxiv.org/abs/2509.04664) (2026-11-05 查阅) - [Google: Machine Learning Crash Course, Large language models](https://developers.google.com/machine-learning/crash-course/llm/transformers) (2026-11-05 查阅) - [Google Gemini Apps Help: View related sources](https://support.google.com/gemini/answer/14143489) (2026-11-05 查阅) - [Microsoft Learn: Application card, Microsoft Copilot (for organizations)](https://learn.microsoft.com/en-us/copilot/plan/microsoft-365-copilot-application-card) (2026-11-05 查阅) - [Andrej Karpathy on X, 9 December 2023](https://x.com/karpathy/status/1733299213503787018) (2026-11-05 查阅) - [Rob Freund on X, 30 June 2025](https://x.com/RobertFreundLaw/status/1939805015423820183) (2026-11-05 查阅) [读隐私这一课](https://mindket.com/cn/learn/ai-basics/ai-privacy)