同一句话，问两次
两分钟就能看到大语言模型是怎么干活的，不用写代码。打开 Claude、ChatGPT、Gemini 或 Copilot 的聊天窗口，发一句“写一句关于下雨的星期一的话”。再开一个全新的对话，发同样的话，把两条回复摆在一起看。
本课引用的每条回复，都是 2026 年 11 月 4 日的真实测试，每次都在没有历史消息、不用任何工具的全新 Claude Code 会话里。模型是 Claude Haiku 5.5，除非我们注明是 Sonnet。我们发的是英文原句“Write one sentence about a rainy Monday.”，下面是两条回复：
“Rain tapped against the office window all morning, and the coffee went cold before anyone wanted to admit it was Monday.”（雨敲了一上午办公室的窗，咖啡都凉了，还没人愿意承认今天是星期一。）
“Rain tapped against the office window all morning, and somehow that made the Monday coffee taste better.”（雨敲了一上午办公室的窗，不知怎么的，星期一的咖啡反倒更好喝了。）
两句的前九个英文词一模一样，到“and”为止，之后各走各的路。两句话都没有事先存在哪里，模型是当场一小块一小块拼出来的。
这一小块就叫 token。一个 token 可以是一个完整的词、词的一部分，或者单个字符，所以 token 数和字数并不是一回事。写回复时，模型读入目前为止的全部文字，给每一个可能的下一个 token 打分，看它接着出现的可能性有多大，然后接上一个。接着再来一遍，新接上的 token 也成了前文的一部分。
接哪一个 token，由应用决定。它可以每次都取得分最高的那个，也可以在概率高于某个阈值的 token 里随机抽一个。应用这样抽取时，每条回复都只是从许多合理回复里抽中的一条，两句下雨的星期一就是这样来的。控制每次抽取有多“大胆”的设置叫温度。就算设为 0，输出也不是完全确定的。
写个配图文字或邮件标题，这种变化没有任何代价，挑你喜欢的那版就行。每周的报告如果必须保持同一个格式，变化就碍事了，可以存一条满意的回复，下次粘进提示词当范例。换成事实，同一件事得到两个日期，至少有一个是错的。两次给出同一个日期也证明不了什么，两次都出自同一份训练数据，不是来自第二个来源。
问一件比模型还新的事
下雨的星期一不会过时，会变的事情才会。我们问 Haiku：“What is the newest iPhone model?”（最新的 iPhone 是哪一款？）
它的回复开头是“The newest iPhone I know of is the iPhone 17 lineup, announced in September 2025”（我知道的最新款是 2025 年 9 月发布的 iPhone 17 系列），接着说：
“Apple usually releases new models each September, and today is November 2026, so there may be a newer model I can't confirm. Check Apple's website for the current lineup.”（Apple 通常每年 9 月发布新机型，今天是 2026 年 11 月，所以可能已经有我无法确认的新款。请到 Apple 官网查看当前的产品线。）
这条回复说清了自己的局限，还指明该去哪里查。这个局限叫知识截止日期，也就是模型训练文本结束的地方：Haiku 是 2026 年 6 月，而且这些模型可能不知道各自截止日期之后发生的事件或出现的信息。
我们的提示里没有日期，训练文本又停在 6 月。这个月份来自 Claude Code，它会把今天的日期写进随每条消息一起发送的指令里。
价格、版本、法规、谁在哪个岗位上，这些在训练文本收集完以后还在变。表里最新的截止日期也只到 2026 年 6 月，所以关于它们的回复可能已经落后好几个月，却不会告诉你。
你自己的文件和公司文档里写了什么，模型同样无从知道。工具可以补上一部分。用检索的话，应用会找出和你的问题相关的文档，连同你的消息一起送进上下文窗口，也就是模型写一条回复时读到的全部文字。你自己贴进文档也一样，模型会照你给的内容来答，能贴多少，上下文窗口那一课列出了各家的上限。
想试一试，就贴一段你自己写的文字，问一个这段文字没有回答的问题，看回复是否还守在你给的文字之内。
| 模型 | 知识截止日期 | 来源 |
|---|---|---|
| Claude Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5 | 2026 年 6 月 | Anthropic 帮助中心和模型概览 |
| GPT-6.1 Terra | 2026 年 6 月 1 日 | OpenAI 模型页面 |
| Claude Opus 5 | 2026 年 5 月 | Anthropic 帮助中心 |
| GPT-6 Luna | 2026 年 5 月 18 日 | OpenAI 模型页面 |
| GPT-6 Astra、GPT-6.1 Sol | 2026 年 4 月 30 日 | OpenAI 模型页面 |
| Claude Sonnet 5、Fable 5、Opus 4.8、Opus 4.7 | 2026 年 1 月 | Anthropic 帮助中心 |
| Claude Sonnet 4.6、Opus 4.6 | 2025 年 8 月 | Anthropic 帮助中心 |
| Claude Haiku 4.5 | 2025 年 7 月 | Anthropic 帮助中心 |
| Gemini 系列模型 | Google 的模型页面没有列出 | Google AI Studio |
一个名人，一个编造的名字
接下来，把一个名人和一个你刚编出来的名字放在一起问。我们先问 Haiku：“Who was Marie Curie? Answer in two sentences.”（居里夫人是谁？用两句话回答。）再用同样的问法问 Talvenor Brisk，这是专为本课编造的名字。关于居里夫人的回复，先写了她的名字和生卒年份（1867 年至 1934 年），接着写道：
“…was a Polish-born physicist and chemist who pioneered research on radioactivity, discovering the elements polonium and radium with her husband Pierre. She was the first woman to win a Nobel Prize, and she remains the only person to win Nobel Prizes in two different sciences, physics in 1903 and chemistry in 1911.”
大意是：她是出生于波兰的物理学家和化学家，开创了放射性研究。她和丈夫皮埃尔一起发现了钋和镭两种元素。她是第一位获得诺贝尔奖的女性，也是至今唯一在两个不同科学领域获得诺贝尔奖的人，1903 年获物理学奖，1911 年获化学奖。
对那个编造的名字，它说不知道：
“I don't have any reliable information about a person or entity called Talvenor Brisk, so I can't say who they are. If you tell me where the name came up, such as a book, game, company, or article, I can help you work out what it refers to.”
大意是：我没有关于 Talvenor Brisk 这个人或机构的可靠信息，所以说不出是谁。如果你告诉我这个名字是在哪里看到的，比如一本书、一款游戏、一家公司或一篇文章，我可以帮你弄清它指的是什么。
Sonnet 收到同样的提示，也说没有可靠信息，还说这个名字“may be a private individual, a fictional character, or a name outside my knowledge”（可能是普通个人、虚构角色，或是它知识范围以外的名字）。
这几条回复都不是查出来的。名人的名字从训练文本里引出了一段信息密集、带着日期的回答。编造的名字什么也引不出来，两个模型也照实说了，没有硬编一段生平。
居里夫人那条回复里有日期、有丈夫的名字、有两个奖项，从头到尾一个调子，就算哪个日期写错了，读起来也一样顺。AI 幻觉那一课讲了模型为什么会编造内容，并给出核对回答的五个步骤。
编造的名字是最容易的情况，因为模型没有任何可以引出的东西。你会问的多数名字落在两者之间，比如一家本地小店、一位只出过一本书的作者，我们这几次没有测这类名字。问问你所在城市的一家咖啡馆，再拿回复里的一个细节和它自己的网站对一对。凡是要发给别人或公开的名字、引文或出处，都这样对一遍。
这些猜测从哪里来
我们只要一句话，上面两条下雨的星期一回复也都只写了一句就停下。光靠预测，模型养不成这个习惯。预训练只有一个目标：把文本接着写下去。像 Claude 底层那样的模型，预训练时学的是根据文档前面的文字预测下一个词。刚做完预训练的模型，本身并不擅长回答问题或执行指令。
我们测试用的另一个模型 Sonnet，训练文本是一个专有组合：互联网上的公开信息、公开和私有数据集，以及其他来源。之后它又经过大量后训练，目的是让它成为一个有效的助手。
正是这些后来的训练，让聊天机器人回答你的问题，而不是把你的句子接着往下写。
预训练
模型读入海量文本，学会预测接下来会出现什么。
微调
用挑选过的示例继续训练，把一个原始语言模型变成好用的助手。
人类反馈
人们给两段或更多示例回答排序，训练把模型推向排名更高的那类输出。
你的消息
应用把你的文字和它悄悄加上的指令一起切成 token。
生成
模型一次接上一个 token，直到回复写完。
只是自动补全吗？Anthropic 在 Claude 内部看到了什么
Google 的机器学习课程把大模型称为“本质上的自动补全机制”。拿它描述训练目标很贴切，拿它描述模型内部发生的事，就说得太少了。
语言模型不是由人直接编程出来的，解决问题的策略是它们从数据里自己学会的。2025 年 3 月，Anthropic 的可解释性团队发表了一项研究，到 Claude 3.5 Haiku 内部去找这些策略，这个模型比我们测试用的那些都要早。
给它一行“He saw a carrot and had to grab it,”（他看见一根胡萝卜，忍不住一把抓住），让它押韵接下去。它在动笔写第二行之前就选好了“rabbit”（兔子），然后朝着这个词去写：“His hunger was like a starving rabbit.”（他饿得像只饿坏的兔子。）它有时会用不同语言共用的概念空间。算两个数的加法时，它走的是并行的路径，一条估算大致的和，一条算准最后一位数。
问它是怎么算出 36 + 59 = 95 的，它说的是标准的“进 1”竖式算法，而不是研究人员看到的那几条并行路径。模型对自己步骤的描述，也只是它写出来的又一段文字，可能和内部实际发生的不一样。
逐步推理也会这样。让 Claude 算一个很大的数的余弦，它没法轻松算出来，有时却声称自己算过，研究人员在它内部找不到任何算过的证据。
Claude 有时会编出听起来合理的步骤，好得出它想要的结论。
你到底在问谁：Andrej Karpathy 的说法
把回复背后想成一个人，你会更清楚该给它几分信任。Andrej Karpathy 是 AI 研究者和教育者，OpenAI 的创始成员之一，后来担任 Tesla 的 AI 总监。他在 2024 年 11 月 29 日的一条 X 帖子里讲过这个道理：聊天模型主要靠模仿人类标注员提供的数据学出来，所以“问 AI”更像是在问一位水平普通的标注员。例外他自己也点明了：代码、数学和创意写作这些领域，公司会雇用专业标注员，强化学习也会让情况有所不同。
这正是上面时间线里“人类反馈”那一步，只不过是从你这一侧看过去。让它替你下判断，比如两份工作该接哪一份，你拿到的是一个打磨得很光滑的平均看法。换个问法，让它把每一边的理由都摆出来，再由你自己拍板。
Anthropic 在显微镜研究发表当天就把它发到了 X 上。这条帖子说团队在 Claude 内部看到的机制“往往复杂又出人意料”，研究本身也承认，就算是简短的提示，这个方法也只能捕捉到 Claude 全部计算中的一小部分。连造模型的人，眼下也读不全它走的每一步。
你问的不是 AI，而是由它那些普通标注员混合而成的某种精魂。
X 官方嵌入卡片的截图，拍摄于 2026 年 11 月 5 日，时间为 UTC。X 用“Show more”截断了 Karpathy 那条帖子的后半部分。点击截图可到 X 上打开原帖。
下一课：怎样选模型
本课的每条回复都来自 Claude。ChatGPT、Gemini 和 Copilot 用的是别的模型，训练文本和截止日期也各不相同。下一课怎样选择 AI 模型会比较它们，帮你为具体任务挑一个。
自测一下
语言模型在预训练阶段学的是什么？
查看答案
B. 根据前面的文本预测下一个 token 预训练教模型根据前文猜出接下来的内容，回答问题的本事来自之后的训练。
你把同一个提示发给两个新对话，得到措辞不同的回复，最可能的原因是什么？
查看答案
C. 每个 token 的挑选都带着随机性，措辞可能在任何一步分岔 就像那两句下雨的星期一，两条回复用的是同一个模型和同一个提示，但一路上的每次挑选并不相同。
某个模型的训练文本截止到 2026 年 6 月，而且没有搜索工具，下面哪个问题它最可能答错？
查看答案
D. 昨天有什么新闻？ 昨天的新闻发生在截止日期之后，只有搜索工具或你自己的消息能把它送进来。
在 Anthropic 2025 年的研究里，Claude 3.5 Haiku 是怎样写押韵句子的？
查看答案
A. 先选好韵脚词，再朝着它去写 它在动笔写第二行之前就选好了“rabbit”，然后写出一行正好落在这个词上的句子。
常见问题
ChatGPT 就是大语言模型吗？
不是。ChatGPT 是聊天应用，语言模型是驱动它的引擎。一个应用甚至可以换引擎：Microsoft 的 Copilot 默认用一个实时路由器，根据你的提示来选底层模型。
大语言模型有多大？
参数有数千亿个，多的达到数万亿个，这是 Google 机器学习课程给出的数字。参数是模型在训练中学到的数值，同一页还说，参数更多的 Transformer 一贯比参数少的表现更好。
模型回答时会上网查资料吗？
只有应用给它配了搜索或检索工具时才会，否则它只凭训练文本和你或应用放进对话里的内容作答。应用在这里说了算，Microsoft 的 Copilot 就是例子：Copilot Chat（Basic）以网络数据为依据，只有你上传或打开工作文件时才会用到它们。有 Microsoft 365 Copilot（Premium）许可证的话，回答还会自动以工作数据为依据。
模型在我们聊天时会向我学习吗？
它不会靠改变自己来学。Anthropic 的术语表把上下文窗口称为模型的“工作记忆”，和训练用的数据是分开的。有些应用还会记下以前对话里的细节，放进新的对话，但那是应用在传递文字，不是模型本身在变。厂商以后会不会用你的对话训练新模型，要看各家的政策，隐私那一课告诉你去哪里找。
资料来源
- Anthropic: Glossary https://platform.claude.com/docs/en/about-claude/glossary
- Anthropic: Transparency Hub https://www.anthropic.com/transparency
- Anthropic Help Center: How up-to-date is Claude's training data? https://support.claude.com/en/articles/8114494-how-up-to-date-is-claude-s-training-data
- Anthropic: Models overview https://platform.claude.com/docs/en/models/overview
- Anthropic Research: Tracing the thoughts of a large language model https://www.anthropic.com/research/tracing-thoughts-language-model
- Google: Machine Learning Crash Course, Introduction to large language models https://developers.google.com/machine-learning/crash-course/llm
- Google: Machine Learning Crash Course, LLMs: What's a large language model? https://developers.google.com/machine-learning/crash-course/llm/transformers
- Google AI Studio: Gemini models https://aistudio.google.com/docs/models
- OpenAI: Models https://developers.openai.com/api/docs/models
- Microsoft Learn: What is Microsoft Copilot? https://learn.microsoft.com/en-us/copilot/plan/copilot-overview
- Andrej Karpathy on X, 29 November 2024 https://x.com/karpathy/status/1862565643436138619
- Anthropic on X, 27 March 2025 https://x.com/AnthropicAI/status/1905303835892990278
- YouTube: Andrej Karpathy, Deep Dive into LLMs like ChatGPT https://www.youtube.com/watch?v=7xTGNNLPyMI