ZeroGPU Fast Mini-Trainer

ZeroGPU Fast Mini-Trainer

在 ZeroGPU Space 上用你自己的数据集，为小型 SmolLM 模型微调一个 LoRA 适配器。每个人登录后使用自己每天的 GPU 配额。适合刚接触微调的开发者。

由 Alibrown 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个小型 Gradio 网页，几分钟内就能教会一个很小的 SmolLM 模型一点新东西。你选一个基础模型，填一个数据集和一个目标仓库，然后按下按钮。得到的是一个 LoRA 适配器，也就是模型的一个小附件，而不是重建整个模型。

每个人用 Hugging Face 登录，并使用自己每天的 ZeroGPU 配额。配额属于登录的用户，不属于这个 Space。

适合谁：适合想在微型模型上第一次动手做微调的人，术语都用大白话解释。

行业 | 使用者 | 使用方式 | 例子
机器学习 | 微调初学者 | 在小型 SmolLM2 模型上训练第一个适配器 | 学习者用仓库里的小测试数据集来训练
软件 | 开发者 | 用问答对教小模型一种回答风格 | 开发者准备好一份 train.jsonl 示例并运行
教育 | 老师 | 演示轮数、损失值和 LoRA 秩的作用 | 老师用两组设置各跑一次，对比损失值
研究 | 业余爱好者 | 在每日 GPU 限额内做快速的 LoRA 实验 | 爱好者在别处长时间训练之前先测试数据集

如果你要训练大模型，或者没有 Hugging Face 账号，可以跳过它。

用在哪里：你可以在下面这些地方使用它。

• 网页浏览器，打开 Hugging Face 上这个 Space 的页面，并用你的账号登录
• 用这些文件创建、配有 ZeroGPU 硬件的你自己的 Space
• 在 Windows、macOS 或 Linux 上的本地副本，不过来源只描述了 ZeroGPU 的配置

使用场景 | 适合谁 | 得到什么
训练第一个适配器 | 初学者 | 一个 SmolLM2 模型的 LoRA 适配器，最后会给出链接
测试数据集 | 开发者 | 状态框里的损失值，显示模型是否在学习
讲解术语 | 老师和学生 | 一次动手运行，展示基础模型、数据集、适配器和轮数

如何设置：你需要一个 Hugging Face 账号，因为页面会让你登录并使用你的 ZeroGPU 时间。

• 一个 Hugging Face 账号
• 装有你的示例的数据集，私有或公开都行
• 可选：一个空的模型仓库，用来存放结果
• 本地副本需要 requirements.txt 里的 Python 软件包

1. 创建一个新的 Space，SDK 选 Gradio，硬件选 ZeroGPU。
2. 上传 app.py、requirements.txt 和 README.md，等到 Space 显示 Running。请保留 README.md，因为它存着这个 Space 的设置。
3. 创建一个数据集，私有即可，然后上传 train.jsonl。
4. 可选：创建一个空的私有模型仓库来接收结果。
5. 如果想用本地副本，请运行下面的命令。

pip install -U huggingface_hub
hf download Alibrown/ZeroGPU-Mini-Trainer --repo-type space --local-dir ZeroGPU-Mini-Trainer
cd ZeroGPU-Mini-Trainer
pip install gradio==6.31.0
pip install -r requirements.txt
python app.py

如何使用：打开这个 Space，点击 Sign in with Hugging Face。选一个基础模型，先从 135M 的开始。填入数据集，可以是完整的 URL，也可以是 name/dataset 的形式，再填一个目标仓库，或者留空。按下训练按钮，指南里它叫 Training starten。状态框会显示正在发生什么，最后会给出已完成适配器的链接。

数据集是一个 JSONL 文件，每行一个示例。格式会被自动识别。

• messages: 推荐的格式，由用户和助手的多轮对话组成
• text: 每行一整段示例文本
• instruction 和 output: 也可以是 prompt 和 response，或者 question 和 answer

{"messages": [{"role": "user", "content": "Hi"}, {"role": "assistant", "content": "Hallo!"}]}

设置 | 作用
Max GPU seconds | 设定训练最长能跑多久。免费账号每天约 5 分钟，设成 150 秒还留有再试一次的余量。
Max examples | 设定使用数据集的多少行
Epochs | 把所有示例过一遍。指南建议小数据集用 2 或 3，大数据集用 1。
LoRA rank | 设定附件的大小。指南说 16 是个不错的起点。
Learning rate | 指南说 2e-4 几乎总是适合 LoRA

要使用训练好的适配器，把它加载到基础模型之上。

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = "HuggingFaceTB/SmolLM2-135M-Instruct"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base)
model = PeftModel.from_pretrained(model, "dein-name/dein-modell-repo")

示例：你选 SmolLM2-135M-Instruct，填入你的数据集名称，目标仓库留空，把 GPU 秒数设为 150，然后按下训练按钮。状态框会报告进度，最后给出你的已完成适配器的链接。

新手与专家：微调就是用示例，让一个本来就能工作的模型学会一点新行为。LoRA 适配器只训练一个小附件，而不是整个模型，所以又快又便宜。先试小测试数据集和 135M 模型，并在状态框里看损失值下降。

从底层看，指南描述的是一个 Gradio 应用，它在 SmolLM2 模型上运行 LoRA 训练，ZeroGPU 时间算在登录用户头上。之后可以用 merge_and_unload 把适配器合并成一个普通模型。指南建议默认用秩 16 和学习率 2e-4。

用 Hugging Face 登录
选一个基础模型和一个数据集
LoRA 训练在 ZeroGPU 上运行
适配器进入你的目标仓库
你把它加载到基础模型之上

注意事项：每日 GPU 配额是主要限制，几个常见错误都有简单的解决办法。

• 配额错误：当天的时间用完了，请等一天，或者把秒数设少一点。
• 列未识别：调整数据集格式，或者在文本列字段里写上列名。
• 访问被拒绝：登录时允许读取和写入权限。
• 训练几乎没变化：用更多、更干净的示例。
• License: agpl-3。
• Cost to run: 除了登录的 Hugging Face 账号的 ZeroGPU 配额，未提及其他费用。
• Data it reaches: 你的 Hugging Face 账号、你的数据集，以及存放适配器的目标仓库。
• Not for: 重建整个模型，因为它只为小型 SmolLM 模型训练一个小的 LoRA 附件。

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：gradio
• 许可证：agpl-3.0

链接

• Space：https://huggingface.co/spaces/Alibrown/ZeroGPU-Mini-Trainer
• 文件：https://huggingface.co/spaces/Alibrown/ZeroGPU-Mini-Trainer/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。