开始之前
你需要大约十个来自自己工作的真实任务，以及同一家服务商的一个推理模型和一个快速模型。规划者是厂商对负责决定做什么的推理模型的叫法。主力模型则是把计划执行下去的更快的模型。
给任务分类，两种模型都试一遍
一个小测试比任何基准都更能回答你的工作该怎么选。十个任务就足以看出规律。
- 列出十个你真的会交给 AI 模型的任务。对每一个，写下完成后的答案是什么样，以及你打算怎样核对。
- 把每个任务标成规划或执行。规划是答案取决于一连串前面的步骤（数学、调试、从杂乱的文件里做决定），执行是工作定义清楚（提取字段、改格式、分流、分类）。
- 记下这个任务更看重哪一项：速度和成本，还是准确和可靠。
- 每个任务在推理模型和快速模型上各跑一遍，按你的核对办法把每个回复标成通过或失败。
- 两者都通过的任务，保留快速模型。比较模型时看每完成一个任务的成本，不要看每个 token 的价格。
推理模型在哪里值得多花时间
OpenAI 的最佳实践页面把它的推理模型称作规划者，把它的 GPT 模型称作主力模型。规划者会在复杂任务上想得更久，能处理含糊的情形，适合原本需要人类专家来做的工作。主力模型是延迟更低、更便宜、为直接执行而做的模型。
这个页面列出了客户看到规划者派上用场的情形，从要补全空白的含糊请求，到文件堆里的一根针。其余的有跨几百页的关联、为智能体做多步规划、审查和调试代码，以及给其他模型的答案打分。它说，多数工作流两种模型都用。推理模型规划，GPT 模型执行。
它自己的例子是退货客服。GPT-4o 和 GPT-4o mini 先分流订单详情，找出订单的问题和适用的退货政策。它们把这一切交给 o3-mini，由 o3-mini 对退货是否可行做出最终判断。
下面的矩阵把这些资料变成一条经验法则。它是我们对厂商建议的解读，不是测量结果。最后一行最宽松。OpenAI 的强度表把分类列在 none 级别，把客户支持和聊天助手列在 low，Anthropic 也说聊天和分类往往在 low 强度下就做得不错，所以低强度设置下的推理模型也能胜任。这些设置见推理强度一课。
| 推理模型 | 快速模型 | |
|---|---|---|
| 要补全空白的含糊请求 | 是 | 部分 |
| 藏在几十份文件里的一个条款 | 是 | 部分 |
| 为智能体规划步骤 | 是 | 部分 |
| 审查代码和给其他模型的答案打分 | 是 | 部分 |
| 速度和成本重要的、定义清楚的执行 | 否 | 是 |
| 聊天、分类和其他对延迟敏感的回复 | 部分 | 是 |
来源：OpenAI Docs: Reasoning best practices (2026年11月6日 查阅)；OpenAI Docs: Reasoning models (2026年11月6日 查阅)；Anthropic on GitHub: claude-api skill (2026年11月6日 查阅)
客户对 OpenAI 说了什么
同一个页面用客户谈 o1 的话来支撑它的列表。Blue J、SafetyKit 和一位 Braintrust 客户拿它和 GPT-4o 比，Hebbia 则拿它和其他模型比。引文是 OpenAI 选的，模型也很旧。把它们当作推理有帮助的任务类型来读，不要当作今天的差距。
88%
SafetyKit 在最难的图像分类任务上用 o1 的准确率，用 GPT-4o 时是 50%
来源：OpenAI Docs: Reasoning best practices (2026年11月6日 查阅)
0.74
一位 Braintrust 客户的评判模型用 o1 的 F1 分数，用 GPT-4o 时是 0.12
来源：OpenAI Docs: Reasoning best practices (2026年11月6日 查阅)
推理模型落后的地方
DeepSeek 的 R1 模型卡展示了另一面，因为它在同样的基准行上同时报告了 DeepSeek-V3 和推理模型 R1。在模型卡给出两个分数的 20 行里，R1 有 18 行更高。它在 IF-Eval 这个指令遵循测试上更低，在 C-SimpleQA，也就是中文版的简短事实问答测试上也更低。
下降的幅度不大，分别是 2.8 和 4.3 分，而且两个模型出自同一家公司。它们仍然说明，把模型训练成会推理，并不让它变成全面升级。
Anthropic 从另一个方向说了类似的话。它的 Opus 4.6 发布文章说，这个模型在更难的问题上想得更深，在较简单的问题上这可能增加成本和延迟，并建议它想得太多时把强度从 high 调到 medium。Anthropic 的 claude-api 技能补充说，编码和长周期的智能体工作对更高的强度反应明显，而聊天、分类以及高并发或对延迟敏感的路径，用 low 往往就够好。
来源：Hugging Face: DeepSeek-R1 model card (2026年11月6日 查阅)
关于多想何时不再有用的研究
2024 和 2025 年的三篇论文去寻找这些界限。它们的摘要写出的多是模型系列，而不是版本。第一篇写了 OpenAI o1，第二篇写了 Claude 和 OpenAI 的 o 系列模型，其中一项发现涉及 Claude Sonnet 4，第三篇没有写出任何模型。把它们当作要留意的失败模式，不要当作排名。第三篇还看到，推理的力度会随难度上升再下降，哪怕还剩着 token 额度。
| 论文 | 研究了什么 | 发现了什么 |
|---|---|---|
| Do NOT Think That Much for 2+3=?（2024 年 12 月） | 类 o1 模型在不同难度问题上的表现 | 它们在简单问题上花掉过多算力，收益微乎其微。作者提出一种训练办法，在不损失准确率的前提下削减这部分 |
| Inverse Scaling in Test-Time Compute（2025 年 7 月） | 专门设计成推理越长越吃亏的任务：带干扰项的计数、带虚假特征的回归、带约束追踪的演绎 | 推理越长，准确率越低。Claude 模型更容易被无关信息分散注意力，OpenAI 的 o 系列模型则过度拟合问题的表述方式 |
| The Illusion of Thinking（2025 年 6 月） | 复杂度可以逐级调高的谜题 | 低复杂度的谜题上普通模型胜过推理模型，中等复杂度上推理模型获胜，高复杂度上两者都崩溃 |
一个讲同一个问题的视频
Andrej Karpathy 讲他自己怎样使用大语言模型的那段长视频里，有一章叫“Thinking models and when to use them”，按视频的章节列表，从 22:54 开始。他在 2025 年 2 月 27 日发布了它，所以里面提到的模型比本课里的旧。
常见错误
- 因为推理模型在基准上名列前茅，就什么都用它。OpenAI 把这两个系列看作不同的工具，而不是排名。
- 比较每个 token 的价格。Anthropic 的成本指南说，要优化的是每完成一个任务的成本，因为单价更高的模型，如果轮数更少地完成任务，反而可能更便宜。
- 不核对就相信一个难题的答案。在 The Illusion of Thinking 里，谜题难到一定程度，准确率就完全崩溃了。
- 沿用旧的测试。Anthropic 的指南说，强度曲线因工作负载而异，也因模型而异，所以换模型、大改提示词或工作负载变了之后，都要重新比较。
自己试一试
- 做上面的十个任务测试，数一数只有推理模型通过的任务有几个。
- 在你的工作里找一件规划者可以规划、更便宜的模型可以执行的事，写下这两条提示词。
- 把结果连同今天的日期存下来，等服务商下一次发布新模型后，把同样的十个任务再跑一遍。
下一门课：提示词优化
你现在有办法为每个任务挑选模型了。下一门课教你让 AI 帮忙起草、改进并测试提示词本身，开头是 AI 提示词生成器，然后才讲到测试提示词。
自测一下
在 OpenAI 的划分里，哪一类工作适合“主力”GPT 模型？
查看答案
B. 速度和成本重要的直接执行 OpenAI 把主力模型描述为延迟更低、更便宜、为直接执行而设计的模型。
DeepSeek 的模型卡显示 R1 在哪个基准上低于 V3？
查看答案
C. IF-Eval 模型卡里 IF-Eval 上 V3 是 86.1，R1 是 83.3，这是 R1 偏低的两行之一。
在几个模型之间做选择时，Anthropic 的成本指南说要比较什么？
查看答案
D. 每完成一个任务的成本 指南说要优化每完成一个任务的成本，因为单价更高的模型可能轮数更少，总成本反而更低。
在 The Illusion of Thinking 的研究里，哪类任务普通模型比推理模型做得更好？
查看答案
A. 低复杂度的任务 论文发现三个区间：低复杂度普通模型获胜，中等复杂度推理模型获胜，高复杂度两者都崩溃。
常见问题
什么时候该用推理模型，而不是普通模型？
任务的步骤相互依赖、而且答错的代价高过慢一点的时候。OpenAI 举的例子有审查代码、在几十份文件里找一个条款、为智能体做规划，以及给其他模型的答案打分。
推理模型比普通模型更好吗？
不是全面更好。OpenAI 说两个系列没有谁更好，只是不同，DeepSeek 自己的表格里 R1 在 20 行中有两行落后于 V3。表里满分 100 的分数中，R1 涨幅最大的是竞赛类测试：AIME 2024 约 40 分，Codeforces 百分位约 38 分，CNMO 2024 约 36 分。
为什么我的推理模型更慢也更贵？
因为它在回答之前先写出思考，而 OpenAI 把这些 token 按输出计费。OpenAI 把它的 GPT 模型描述为更快，成本往往更低。如果任务需要推理模型，但不需要想得很深，推理强度可以削减思考。
推理模型还会出错吗？
会。The Illusion of Thinking 的研究在它的谜题环境里发现，超过某些复杂度之后准确率完全崩溃，所以难题的答案要用测试、校验器或第二个来源来核对。
写代码用推理模型更好吗？
审查和改进大量代码时，可以。OpenAI 说推理模型在这方面特别有效，因为延迟较高，常常在后台运行代码审查，Anthropic 则把编码列在更高强度值得投入的工作负载里。写代码又在意延迟的时候，OpenAI 说它的 GPT 模型可能设计得更合适。
资料来源
- OpenAI Docs: Reasoning best practices https://developers.openai.com/api/docs/guides/reasoning-best-practices
- OpenAI Docs: Reasoning models https://developers.openai.com/api/docs/guides/reasoning
- Hugging Face: DeepSeek-R1 model card https://huggingface.co/deepseek-ai/DeepSeek-R1
- Anthropic: Introducing Claude Opus 4.6 https://www.anthropic.com/news/claude-opus-4-6
- Anthropic on GitHub: claude-api skill https://github.com/anthropics/skills/blob/main/skills/claude-api/SKILL.md
- Anthropic on GitHub: claude-api skill, cost optimization guide https://github.com/anthropics/skills/blob/main/skills/claude-api/shared/cost-optimization.md
- Hugging Face Papers: Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs (2024) https://huggingface.co/papers/2412.21187
- Hugging Face Papers: Inverse Scaling in Test-Time Compute (2025) https://huggingface.co/papers/2507.14417
- Hugging Face Papers: The Illusion of Thinking (2025) https://huggingface.co/papers/2506.06941
- YouTube: Andrej Karpathy, How I use LLMs https://www.youtube.com/watch?v=EWvNQjAaOHw