SmolLM2-135M-Instruct

SmolLM2-135M-Instruct

用一个 1.35 亿参数、小到能在设备上运行的指令微调模型回答聊天式问题，也能做改写和摘要。适合需要在 Python 或 JavaScript 中使用微型聊天模型的开发者。

由 HuggingFaceTB 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SmolLM2-135M-Instruct 是 SmolLM2 系列中 135M 模型的聊天微调版本。团队在基础模型上用公开和自建数据集做了监督微调，然后应用了直接偏好优化。它接收聊天格式的消息，并用英文回复。

适合谁：适合想要一个小到能在浏览器、笔记本 CPU 或应用内部运行的聊天模型、并且能接受一般回答质量的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用和网页开发者 | 加入一个在用户设备上运行的微型助手 | 网页里的帮助气泡
教育 | 教师和学生 | 展示聊天模型怎样加载和提示 | 课堂上演示聊天模板
研究 | 机器学习研究者 | 把小型指令模型当作微调的基础 | 把它调整到一个窄任务
测试 | 工程师 | 用加载很快的模型检查聊天流程 | 对提示流程做端到端测试

如果你需要可靠的事实或推理，可以跳过，因为模型卡里小学数学题的得分只有 1.4。

用在哪里：

• 使用 transformers 库的 Python 脚本，CPU 或 GPU 都行
• TRL 命令行，用来在终端里聊天
• 使用 Transformers.js 的 JavaScript，包括在浏览器里
• 装有 Python 或 Node 的 Windows、macOS 或 Linux

用例 | 谁用 | 得到什么
聊天回复 | 开发者 | 对你发送的消息的简短回答
改写和摘要 | 内容工具 | 改写或压缩后的文字，模型卡称支持这类任务
终端聊天 | 爱好者 | 用一条命令启动的交互会话

如何设置：先准备好这些。

• 带 pip 的 Python，或走 JavaScript 路线时用带 npm 的 Node
• transformers 库，多块 GPU 时还需要 accelerate
• BF16 权重约 269 MB，4-bit 估计约 67 MB

1. 用 pip 安装 transformers 库。
2. 按 Hugging Face 名称加载模型。
3. 构建 messages 列表并应用聊天模板。
4. 调用 generate 并解码输出。

pip install transformers

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM2-135M-Instruct

如何使用：把带角色和内容的消息列表通过聊天模板，然后生成。模型卡把 temperature 设为较低的 0.2，top-p 为 0.9，生成 50 个新 token。想在终端里快速聊天，可以安装 TRL 并运行它的 chat 命令。

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM2-135M-Instruct"

device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# for multiple GPUs install accelerate and do `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

messages = [{"role": "user", "content": "What is gravity?"}]
input_text=tokenizer.apply_chat_template(messages, tokenize=False)
print(input_text)
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=50, temperature=0.2, top_p=0.9, do_sample=True)
print(tokenizer.decode(outputs[0]))

pip install trl
trl chat --model_name_or_path HuggingFaceTB/SmolLM2-135M-Instruct --device cpu

npm i @huggingface/transformers

import { pipeline } from "@huggingface/transformers";

// Create a text generation pipeline
const generator = await pipeline(
  "text-generation",
  "HuggingFaceTB/SmolLM2-135M-Instruct",
);

// Define the list of messages
const messages = [
  { role: "system", content: "You are a helpful assistant." },
  { role: "user", content: "What is the capital of France?" },
];

// Generate a response
const output = await generator(messages, { max_new_tokens: 128 });
console.log(output[0].generated_text.at(-1).content);

工具 | 作用
apply_chat_template | 把你的消息变成模型期望的提示格式
model.generate | 生成回复的 token
trl chat | 在终端里打开聊天会话
Transformers.js pipeline | 在 JavaScript 里运行文本生成

示例：在 JavaScript 片段里，系统消息说助手乐于助人，用户问法国的首都是什么。回复会说出巴黎，模型卡自己的注释就是这样显示的。终端聊天的做法相同，一次发一条消息。

新手与专家：如果你是新手，这是 SmolLM2 里可以对话的版本。先在 CPU 上用 TRL 的聊天命令，问一个普通问题，看看回复有多短。不要指望 135M 参数能给出长而深入的回答。

如果你熟悉这个领域，模型卡用 lighteval 的零样本测试把它和 SmolLM-135M-Instruct 做了对比。IFEval 从 17.2 升到 29.9，MT-Bench 从 16.8 升到 19.8。训练配方是 SFT，然后在 UltraFeedback 上做 DPO。模型卡提到的函数调用支持属于 1.7B 模型，不属于这个。

SmolLM2-135M 基础模型
在聊天数据上做监督微调
在偏好数据上做 DPO
聊天模板格式化你的消息
模型生成回复

注意事项：

• 语言：仅英语
• 规模：135M 参数，Safetensors 格式
• 系列：还有 360M 和 1.7B 的兄弟模型
• 社区：其他人做过 155 个量化版本和 411 个微调版本

Title: 指令基准，SmolLM2 对比较早的 SmolLM
IFEval, SmolLM2-135M-Instruct: 29.9 分
IFEval, SmolLM-135M-Instruct: 17.2 分
MT-Bench, SmolLM2-135M-Instruct: 19.8 分
MT-Bench, SmolLM-135M-Instruct: 16.8 分

• License: Apache 2.0
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务
• Data it reaches: 你交给自己脚本或浏览器页面的消息，来源没有提到网络或账号访问
• Not for: 可靠的事实、数学或函数调用，因为模型卡把函数调用归于 1.7B 规模

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：135M
• Weights: about 269 MB in BF16; about 67 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：841,106
• 点赞：474
• 许可证：apache-2.0
• 语言：en
• 基于：HuggingFaceTB/SmolLM2-135M
• Quantized versions: 155
• Fine-tunes: 412
• 标签：transformers, tensorboard, onnx, safetensors, llama, text-generation, transformers.js, conversational

链接

• 模型：https://huggingface.co/HuggingFaceTB/SmolLM2-135M-Instruct
• 文件：https://huggingface.co/HuggingFaceTB/SmolLM2-135M-Instruct/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM2-135M-Instruct

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。