开始之前
你需要一个聊天窗口，和一个能拿真实材料去核对的回复，比如你自己的简历、一本你很熟的书，或者一个公开的网页。不用写代码。这些练习是为了养成核对的习惯，并不是给哪家厂商打分。
用五个步骤核对一个 AI 回答
- 把说法标出来。给回复里的每个名字、数字、日期、引文和链接划上线，这些是你能拿去对照来源的部分。
- 问每条说法出自哪里，然后打开来源。Google 的 Gemini 帮助说，并非所有回复都附带相关链接或来源，所以没有链接是常事。有链接的话，链接指向的内容也必须真的包含回答所归给它的那句话。
- 给模型留一条退路。加上一句：“如果你不确定，就直说，不要猜。” Anthropic 的指南说，明确允许模型承认不确定，可以大幅减少错误信息。
- 你提供文档时，先要逐字引文，再要回答。同一份指南还建议，让模型撤回任何它拿不出引文支撑的说法。
- 换一个新对话把问题再问一遍，对比两次的结果。指南说，多次运行之间不一致，可能说明出现了幻觉。几次结果一致时，重要的事实仍然要核对，因为一致并不等于正确。
模型为什么会编造
Google 的机器学习课程说得很直接：大语言模型会产生幻觉，也就是它们的预测经常含有错误。模型写的是最可能的下一个 token，第一课已经讲过，所以一句话可以同时既流畅又是假的。
OpenAI 的研究人员在 2025 年的一篇论文里往前走了一步。他们把幻觉定义为看似合理的假话，并论证模型之所以产生幻觉，是因为训练和评估的做法奖励猜测，而不是承认不确定。他们打的比方是面对难题的考生。在“留空和答错都是零分”的评分规则下，猜一下从来不吃亏。论文开头的例子是：问一个语言模型某人的生日，三次尝试给出了三个错误的日期。他们提出的解决办法是改变现有基准测试给答案打分的方式。
论文用十个常用基准测试的调查来支撑这一点，见下图。其中九个只按对错给答案打分，答“我不知道”一分不得。第十个 WildBench 会给部分分数，但作者指出，按它的评分尺度，“我不知道”的得分仍可能低于一个还算过得去、却含有幻觉的回答。
Anthropic 的可解释性研究则看进了 Claude 的内部。研究发现，拒绝回答是默认行为，而一个“已知实体”特征可以把这个默认行为关掉。出错的情形是：Claude 认得一个名字，却对这个人别的情况一无所知。
| 来源 | 说了什么 | 对你的用处 |
|---|---|---|
| Google 机器学习课程 | 大语言模型会产生幻觉，它们的预测经常含有错误 | 把流畅的文字看作未经核实的文字 |
| OpenAI 研究人员，2025 年 | 训练和评分奖励猜测，而不是承认拿不准 | 明确允许模型说它不知道 |
| Anthropic 可解释性研究，2025 年 | 拒绝是默认行为，一个只认得一半的名字可以把它关掉 | 遇到冷门的人、地方和数字要格外小心 |
| 只按对错打分 | 答“我不知道”能得分 | |
|---|---|---|
| GPQA | 是 | 否 |
| MMLU-Pro | 是 | 否 |
| IFEval | 是 | 否 |
| Omni-MATH | 是 | 否 |
| WildBench | 否 | 部分 |
| BBH | 是 | 否 |
| MATH (L5 split) | 是 | 否 |
| MuSR | 是 | 否 |
| SWE-bench | 是 | 否 |
| HLE | 是 | 否 |
来源：OpenAI 研究人员的论文《Why language models hallucinate》表 2 (2026年11月5日 查阅)
为什么有了来源链接，核对也没有结束
Microsoft 的应用说明卡说，在需要依据信息的场合，Copilot 力求用可靠的来源来回应，但 AI 仍可能编造听起来合理、实际上并不准确的内容。即使是从权威的网络数据里取材，回复也可能曲解那些内容，也可能不够准确、不够新、不够可靠。
说明卡还补充了第二种情形：Copilot 综合多个来源的内容时，回复里可能出现那些来源里没有的信息。Anthropic 在指南的最后几行给了一条通用的规则。
这些技巧虽然能明显减少幻觉，但不能把它们完全消除。一定要核实关键信息，尤其是高风险的决定。
一个任务该核对到什么程度
核对要花时间，所以要和风险的大小相配。下面的分级是我们对各厂商警告的解读，不是厂商的标准。Microsoft 的说明卡把医疗和金融工作列为高风险领域，还警告说，不要把它用在可能影响一个人的法律身份，或者影响他获得信贷、就业、住房和保险的场合。
| 任务 | 风险 | 怎么做 |
|---|---|---|
| 想名字、列提纲或头脑风暴 | 低 | 读一遍，留下你喜欢的 |
| 总结你贴进去的文档 | 中，因为总结里可能加进文档里没有的细节 | 抽查三条说法，对照原文 |
| 要发布的引文、数字、日期或链接 | 高 | 打开每一个来源，找到那一行 |
| 涉及健康、钱、法律或安全的决定 | 最高 | 把 AI 当作帮你向专业人士提出更好问题的工具 |
Andrej Karpathy 说模型是“造梦机”，Rob Freund 讲法庭里的假判例
Andrej Karpathy 是 AI 研究者和教育者，OpenAI 的创始成员之一。他在 2023 年 12 月 9 日的一条 X 帖子里写道，从某种意义上说，大语言模型做的全部事情就是产生幻觉。提示词开启一场梦，大多数时候这场梦会落到有用的地方。只有当它飘到我们认定是错误的地方，我们才把它叫作幻觉。
他为聊天助手列出的补救办法里，有比较多次生成的结果，也有用真实文档给回答定锚，这正是上面的第 4 步和第 5 步。为品牌、机构和创作者服务的律师 Rob Freund，在 2025 年 6 月 30 日发帖讲了法庭里的一件事。
美国佐治亚州的一个初审法院，在一份裁定里引用了 AI 编造的判例。上诉法院撤销了那份裁定，可对方的律师又在上诉材料里提交了更多编造的判例。
法庭裁定属于上面表格里风险最高的那一行，而这些判例骗过了一位初审法官。一个名字、判例、引文或数字，在进入你要签字、提交或发布的东西之前，先自己打开来源，把它找出来。
幻觉不是 bug，而是大语言模型最了不起的特性。有幻觉问题的是大语言模型助手，我们应该解决它。
X 官方嵌入卡片的截图，拍摄于 2026 年 11 月 5 日，时间为 UTC。X 用“Show more”截断了 Karpathy 那条帖子的后半部分。点击截图可到 X 上打开原帖。
常见错误
- 问同一个模型“你确定吗？”，把回答“是”当成核对。这只是再生成的一段文字，Anthropic 的研究发现，Claude 会编出听起来合理的步骤。
- 因为引用看着正式就信了。要打开它，找到那句话。
- 把两次运行结果一致当作证据。重复出现的错误答案，仍然是错的。
- 把一个半有名的名字当作安全的问题。Anthropic 把编造的回答，和模型认得名字却知之甚少这种情形联系了起来。
自己试一试
- 请你的助手给你很熟的一位半公众人物写一段简短的生平，把每条说法标成对、错或无法核实，然后加上“不确定就直说”那一句重来一遍，对比两次。
- 贴一段文字，请它总结，并对照你的原文核对其中三条说法。
- 请它给你很熟的一个主题列出来源，打开每一个链接，数一数有几个真的包含了回答归给它们的那句话。
下一课：你给模型的是什么
核对输出只涉及返回来的内容。下一课AI 隐私讲你发出去的内容：大型聊天应用会把你发的消息保留什么，以及什么内容永远不要贴进去。
第一课大语言模型是怎么工作的解释了错误答案背后的猜测机制，读完这一课之后值得再看一遍。
自测一下
下面哪一句最能说明什么是 AI 幻觉？
查看答案
C. 一个流畅的回复，把假的说成真的 OpenAI 的研究人员把幻觉定义为看似合理的假话。
你贴进一份长报告，想要一份可信的总结。Anthropic 的指南建议先要什么？
查看答案
A. 报告里的逐字引文 指南说，引文能让回复以真实文本为依据，模型拿不出引文支撑的说法应当撤回。
聊天机器人给一个统计数字附上了链接，接下来你该怎么做？
查看答案
D. 打开链接，找到支撑这个数字的那句话 Microsoft 说，即使回答取材于权威的网络数据，也可能曲解那些内容，所以核对要在来源那里进行。
按 OpenAI 研究人员的说法，模型为什么总在猜？
查看答案
B. 训练和评分奖励猜测，而不是承认不确定 论文论证说，模型产生幻觉，是因为训练和评估的做法奖励猜测，而不是承认不确定。
常见问题
新一代的模型还会产生幻觉吗？
会。Anthropic 的指南开头就说，即使是最先进的语言模型，也可能生成与事实不符或与给定上下文不一致的文字。它给出的技巧能减轻这个问题，但不能消除。
打开联网搜索就不会有幻觉了吗？
有帮助，但不能终结这个问题。搜索只是把网页交给模型参考，答案仍然由模型来写，所以上面引用的说明卡才会警告内容可能被曲解。Gemini 的帮助还补充说，并非每个回复都带来源，所以对于带链接的回答，要把链接打开看看。
幻觉就是撒谎吗？
不是。OpenAI 的研究人员把它描述为一种看似合理的假话，成因是模型的训练和评分方式，很像考生在难题上蒙一个答案。这个说法里没有任何故意欺骗的意思。
为什么 AI 说错了还显得那么肯定？
流畅的文字是模型的拿手戏，而 OpenAI 的论文认为，评分奖励的是自信的猜测，而不是老实的“我不知道”。Anthropic 的研究在训练上也说了类似的话：模型总是被要求给出下一个词的猜测。
我可以让 AI 怎么做，来减少编造的回答？
Anthropic 列了几条指令：允许它说“我不知道”，先要逐字引文，要求每条说法都用引文支撑，否则就删掉，还要告诉它只用你提供的文档，不要用它的常识。
健康、金钱或法律问题，我能问 AI 吗？
作为准备工作可以。让它解释一个术语，列出要问医生或顾问的问题，再整理出该带哪些材料。决定要交给专业人士来做，上面的表格也把这类任务评为最高风险。这个分级是我们的解读，不是厂商的规定。
资料来源
- Anthropic: Reduce hallucinations https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations
- Anthropic Research: Tracing the thoughts of a large language model https://www.anthropic.com/research/tracing-thoughts-language-model
- Anthropic: Glossary https://platform.claude.com/docs/en/about-claude/glossary
- Kalai, Nachum, Vempala and Zhang (OpenAI): Why language models hallucinate https://arxiv.org/abs/2509.04664
- Google: Machine Learning Crash Course, Large language models https://developers.google.com/machine-learning/crash-course/llm/transformers
- Google Gemini Apps Help: View related sources https://support.google.com/gemini/answer/14143489
- Microsoft Learn: Application card, Microsoft Copilot (for organizations) https://learn.microsoft.com/en-us/copilot/plan/microsoft-365-copilot-application-card
- Andrej Karpathy on X, 9 December 2023 https://x.com/karpathy/status/1733299213503787018
- Rob Freund on X, 30 June 2025 https://x.com/RobertFreundLaw/status/1939805015423820183