什么时候微调大模型：提示词、RAG 还是训练？

开始之前

你需要一张电子表格和一个你在意的任务。这一课不需要 GPU，也不需要写一行代码。任务要能用一句话说清，比如“把客户邮件改写成不超过 12 个词的工单标题”。

第 2 到第 4 课会为这个任务建数据，用它训练一个小型开源模型，再把结果跑起来，所以你在这里选的任务会贯穿整门课。

把每个失败归为上下文问题或行为问题

OpenAI 的准确率指南把模型的问题放在两条轴上。上下文问题，是模型缺少知识：这些知识不在训练集里，或者已经过时，或者涉及你的私有信息。行为问题，则表现为格式前后不一致、语气或风格不对，或者推理不是每次都照着要求来。

指南用一场考试来解释这种划分。微调相当于上了六个月的课，大量重复的例子教会你一个概念怎么用。检索相当于桌上的教科书，答案要现查。两者可以叠加，有些任务两样都需要。

把自己的失败分一遍只要一个下午，却能决定你接下来做什么。

1. 写下 20 条你现在的提示词处理得不好的输入。要从真实使用中取，不要凭空编。
2. 在每一条旁边，写下你想要的输出。
3. 拿第一条失败的输入，把缺的文档、规则或事实粘进提示词，再问一次。这个粘贴测试是本课自己给出的小办法，用来落实指南里的划分。
4. 答案变对了，就把这一行标成“上下文”。这一行适合用检索，做法见 RAG 教程。
5. 事实已经在提示词里，答案的格式、语气或一致性仍然不对，就把这一行标成“行为”。
6. 每一行都做完。上下文标记成堆，说明该用检索。行为标记成堆，而且给提示词加了示例（见少样本提示词那一课）之后仍然留着，才是微调的理由。

微调改变什么，又不碰什么

本课程教的监督式微调，是把成对的提示词和你想要的答案给模型看，再把它的权重朝着这些答案调整。OpenAI 的微调指南列出它最适合的场景：分类、讲究细微差别的翻译、生成特定格式的内容，以及纠正没有遵循指令的毛病。

准确率指南还给了第二个理由，效率。指令和示例不必再随每条提示词一起发送，训练就能用更少的 token，或者用更小的模型，达到同样的准确率。

为什么不该用训练灌进新事实

Zorik Gekhman 等人在 2024 年的一项研究中，用闭卷问答微调 PaLM 2-S，并改变训练样本里包含模型原本不知道的事实的比例。这些样本学得明显比和模型已有知识一致的样本慢。等它们终于学会，模型产生幻觉的倾向就随之呈直线上升。作者的解读是：模型的事实知识大多来自预训练，而微调教的是更高效地使用这些知识。

Ovadia 等人在 2023 年，在 Llama2-7B、Mistral-7B 和 Orca2-7B 上比较了无监督微调和检索。微调有一点帮助。检索做得更好，不论是模型在训练中见过的事实，还是全新的事实，而在训练时给模型看同一事实的许多种改写，可以缓解这个问题。

同样的划分也说明了，为什么一小批样本仍然能改变行为。2023 年的 LIMA 论文用 1,000 条精心挑选的提示词和回答，微调了一个 65B 的 LLaMA 模型，没有用强化学习，模型从寥寥几个例子里学会了特定的回答格式。在一项人工评测里，它的回答有 43% 的情况和 GPT-4 的相当或更受欢迎。作者的结论是，语言模型里几乎所有的知识都来自预训练。

一个微调获胜、检索反而拖后腿的任务

OpenAI 的准确率指南用一个例子把三种办法走了一遍：纠正冰岛语句子，用 BLEU 打分，它按输出和参考文本有多相似来打分。GPT-4 不给示例得 62 分。在提示词里放三个示例，升到 70 分。用 1,000 个样本微调 gpt-3.5-turbo 得 78 分，用同一批样本微调 GPT-4 得 87 分。指南点名的是这两个模型，并且没有注明日期，所以更新的模型得分可能不同。

接着，指南把训练集之外检索到的示例加给微调后的 GPT-4，分数掉了四分，成了 83。指南的解释是，这个任务属于行为问题，额外的上下文只给一个已经学会任务的模型添了噪声。如果你上面分出来的那一堆主要是行为问题，就要留意这种情形。

微调要付出什么代价

训练不是一劳永逸的事。准确率指南指出，每次再调整，微调都要重新跑一遍训练，还要管理训练集和验证集，应用变复杂时这还可能带来退步。

模型也可能忘事。Dan Biderman 等人在 2024 年的研究里，在编程和数学上，针对 Llama-2-7B 比较了 LoRA 和全量微调。在标准低秩设置下，LoRA 在目标领域的成绩不如全量微调，但它更好地保住了基础模型在其他任务上的能力。第 3 课用 LoRA，它拿一点学习量换来更少的遗忘和更少的显存。

托管的微调服务也可能消失。OpenAI 的微调页面写明，这个平台已不再向新用户开放，符合条件的老客户可以创建训练任务，期限到 2027 年 1 月 6 日，页面阅读于 2026-11-06。用开源模型的话，基础权重和你的适配器都留在自己的硬盘上。

常见错误

• 拿公司文档去微调，想“教会模型”公司的事实。
• 在还没有提示词基线、没有可打分的样本时就开始训练。
• 用整齐的编造样本训练，真实的输入却很杂乱。OpenAI 把训练数据缺乏代表性，列为最常见的坑之一。
• 前 50 条样本毫无作用，却还在加样本。微调指南建议先重新想任务和提示词。
• 只聊几句就判断微调后的模型好坏，不用留出的测试集。

自己试一试

• 填完那张失败表格，数一数上下文行和行为行各有多少。
• 对行为行里的五条，写下你想要的答案。它们会成为第 2 课数据集最开头的几行。
• 把其中三条作为示例加进提示词，再数一遍还剩几条行为失败。
• 写一句以“我要微调，因为”开头的话，检查结尾说的是一种行为，而不是一个事实。

接下来

第 2 课把行为行变成训练文件：聊天格式、起步用多少条样本、一个校验脚本，以及一份留出的测试集。

常见问题

资料来源

1. OpenAI: Optimizing LLM Accuracy (2026年11月6日 查阅)https://developers.openai.com/api/docs/guides/optimizing-llm-accuracy
2. OpenAI: Supervised fine-tuning (2026年11月6日 查阅)https://developers.openai.com/api/docs/guides/supervised-fine-tuning
3. OpenAI: Model optimization (2026年11月6日 查阅)https://developers.openai.com/api/docs/guides/model-optimization
4. Hugging Face Papers: Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? (2026年11月6日 查阅)https://huggingface.co/papers/2405.05904
5. Hugging Face Papers: Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs (2026年11月6日 查阅)https://huggingface.co/papers/2312.05934
6. Hugging Face Papers: LIMA: Less Is More for Alignment (2026年11月6日 查阅)https://huggingface.co/papers/2305.11206
7. Hugging Face Papers: LoRA Learns Less and Forgets Less (2026年11月6日 查阅)https://huggingface.co/papers/2405.09673
8. Wikipedia: BLEU (2026年11月6日 查阅)https://en.wikipedia.org/wiki/BLEU