SmolLM2-360M-Instruct

SmolLM2-360M-Instruct

用一个 3.62 亿参数、在普通硬件上就能运行的指令微调模型回答聊天式问题，也能做改写和摘要。适合想要比 135M 更有余量的小型聊天模型的开发者。

由 HuggingFaceTB 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SmolLM2-360M-Instruct 是 SmolLM2 系列中 360M 模型的聊天微调版本。它从见过 4 万亿训练词元的 360M 基础模型出发，团队随后加入了基于公开和自建数据集的监督微调，以及一轮直接偏好优化。它读取聊天消息，并用英文回复。

适合谁：适合想要一个能放进笔记本或普通 GPU 的小型助手模型、并且接受简短简单回答的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用开发者 | 嵌入一个在本地运行的小型助手 | 桌面工具里的写作帮手
内容工具 | 产品团队 | 不用调用云端就能改写或缩短文字 | 把一段笔记压缩成两行
教育 | 教师和学生 | 探索聊天模板和采样是怎么工作的 | 比较不同 temperature 设置的演示
研究 | 机器学习研究者 | 微调一个紧凑的指令模型 | 把它调整成公司的语气

如果你需要可靠的事实或算术，可以跳过，因为这么小的模型会犯很多错误。

用在哪里：

• 使用 transformers 库的 Python 脚本，CPU 或 GPU 都行
• TRL 命令行，用来在终端里聊天
• 装有 Python 的 Windows、macOS 或 Linux

用例 | 谁用 | 得到什么
问答 | 开发者 | 对一条聊天消息的简短回复
改写和摘要 | 内容团队 | 改写或压缩后的文字，模型卡称支持这类任务
终端聊天 | 爱好者 | 用一条命令启动的会话

如何设置：先准备好这些。

• 带 pip 的 Python
• transformers 库，使用多块 GPU 时还需要 accelerate
• BF16 权重约 724 MB，4-bit 估计约 181 MB

1. 用 pip 安装 transformers 库。
2. 按 Hugging Face 名称加载模型。
3. 把你的消息放进列表，应用聊天模板并生成。

pip install transformers

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM2-360M-Instruct

如何使用：让你的消息通过聊天模板，然后用模型卡所用的低 temperature 设置生成。想在终端聊天，就安装 TRL 并运行指向这个模型的 chat 命令。

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM2-360M-Instruct"

device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# for multiple GPUs install accelerate and do `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

messages = [{"role": "user", "content": "What is the capital of France."}]
input_text=tokenizer.apply_chat_template(messages, tokenize=False)
print(input_text)
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=50, temperature=0.2, top_p=0.9, do_sample=True)
print(tokenizer.decode(outputs[0]))

pip install trl
trl chat --model_name_or_path HuggingFaceTB/SmolLM2-360M-Instruct --device cpu

工具 | 作用
apply_chat_template | 按模型期望的方式格式化你的消息
model.generate | 生成回复，这里最多 50 个新 token
trl chat | 在终端里打开交互聊天

示例：发送一条询问法国首都的消息。在 temperature 为 0.2 时，模型给出简短而稳定的回复，脚本会打印提示和随后的回复。终端聊天命令可以让你接着追问。

新手与专家：如果你是新手，这是可以聊天的 SmolLM2 尺寸。先在 CPU 上用 TRL 命令，问一个普通问题，看看回复多长。对这么小的模型要保持适度的期待。

如果你熟悉这个领域，模型卡给出的基础模型在 HellaSwag、ARC、PIQA 和 TriviaQA 上高于 Qwen2.5-0.5B，而 Qwen2.5-0.5B 在 GSM8K 上遥遥领先。函数调用只列在 1.7B 的兄弟模型上。模型卡里的 Transformers.js 示例是按名称加载 135M 模型的，所以用的话要换成这个模型的名称。

SmolLM2-360M 基础模型
在聊天数据上做监督微调
在偏好数据上做 DPO
聊天模板格式化你的消息
模型写出回复

注意事项：

• 语言：仅英语
• 规模：362M 参数，Safetensors 格式
• 系列：还有 135M 和 1.7B 的兄弟模型
• 社区：其他人做过 139 个量化版本和 200 个微调版本

• License: Apache 2.0
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务
• Data it reaches: 你交给自己脚本的消息，来源没有提到网络或账号访问
• Not for: 函数调用或算术，因为模型卡把函数调用归于 1.7B 规模，而基础模型的 GSM8K 分数是 3.2

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：362M
• Weights: about 724 MB in BF16; about 181 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：221,273
• 点赞：244
• 许可证：apache-2.0
• 语言：en
• 基于：HuggingFaceTB/SmolLM2-360M
• Quantized versions: 138
• Fine-tunes: 200
• 标签：transformers, tensorboard, onnx, safetensors, llama, text-generation, transformers.js, conversational

链接

• 模型：https://huggingface.co/HuggingFaceTB/SmolLM2-360M-Instruct
• 文件：https://huggingface.co/HuggingFaceTB/SmolLM2-360M-Instruct/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM2-360M-Instruct

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。