Mindket
高级免费

微调:用自己的数据训练开源模型

黑色横幅,标题是“微调”,下面是“用 LoRA 在自己的数据上训练开源模型”。

这门免费的微调课程教你判断什么时候值得微调、建训练数据集、用 Hugging Face 的 TRL 和 PEFT 训练 LoRA 适配器,再把结果放进 Ollama 运行。共四节动手课,内容依据官方文档里的调用。你需要会基础的 Python 和终端,训练那一课还需要一块 GPU。

学完你能做到

  • 判断一个失败案例缺的是更多上下文,还是行为上的改变,用的是你能在自己的提示词上运行的测试。
  • 建一个聊天格式的 JSONL 训练集,用脚本检查它,并留出一份测试文件。
  • 用 TRL 和 PEFT 训练 LoRA 适配器,模型在显存里装不下时改用 QLoRA。
  • 转换任何东西之前,先在留出的行上拿适配器和基础模型对比打分。
  • 合并适配器,转成 GGUF,在 Ollama 里运行。
全部课程

适合谁

适合熟悉 Python 和终端、想让开源模型适应自己数据的开发者。第 1、2 课不需要 GPU,第 3 课需要。如果你的目标是基于自己的文档给出答案,RAG 课比微调更合适。

课程内容

  1. 1什么时候微调大模型:提示词、RAG 还是训练?微调改变的是模型的行为,不是它知道什么。先把模型的失败分成上下文问题和行为问题,再选提示词、RAG 还是微调。7 分钟
  2. 2微调数据集:建好、检查并拆分你的训练数据建一个微调数据集:JSONL 聊天格式、起步用多少条样本、检查文件的脚本,以及一份留出的测试集。5 分钟
  3. 3LoRA 微调:用 TRL 和 PEFT 训练适配器用 LoRA 微调开源模型:TRL 和 PEFT 训练脚本、每项设置的含义、模型装不下时用 QLoRA,以及 Unsloth。5 分钟
  4. 4运行微调后的模型:打分、合并,再导入 Ollama运行你微调好的模型:先拿 LoRA 适配器和基础模型对比打分,再合并,最后以文件夹或量化后的 GGUF 文件导入 Ollama。5 分钟

常见问题

这门微调课免费吗?

免费。四节课都可以免费阅读,每一课的末尾都列出了它的资料来源。训练需要 GPU,这部分硬件要你自己准备。

学这门课需要 GPU 吗?

只有第 3 课需要,它要训练适配器。它用的是 Qwen3-0.6B,TRL 自己的快速上手加载的就是这个小模型。第 1、2 课是阅读和处理文件。

微调比 RAG 更好吗?

它们解决的是不同的问题。第 1 课帮你给失败案例分类:缺知识指向检索,格式或语气不一致指向微调。OpenAI 的准确率指南说两者是叠加的,不是互斥的。

这门课用了哪些库?

训练用 Hugging Face 的 TRL,LoRA 用 PEFT,QLoRA 用 bitsandbytes,Unsloth 是可选的更快的加载器。第 4 课用 PEFT 合并,用 llama.cpp 转换,在 Ollama 里运行模型。

学完这门课,接下来学什么?

下一门是 MCP 课。它用 Python 或 TypeScript 构建 MCP 服务器,助手就是靠它接触文件、数据库和工具的。

分享这门课

看看别人在开源模型上做了什么

Mindket 把开源项目列成套件,每个都附有安装说明。动手做自己的之前,先翻几个看看。

浏览套件

全部课程 · 全部文章