SmolLM2-1.7B-Instruct

SmolLM2-1.7B-Instruct

聊天、改写和总结文本，还能调用函数，是一个小到可以在设备上运行的 1.7B 紧凑模型。这是 HuggingFaceTB 经过指令微调的 SmolLM2，适合想要小型英文模型的开发者。

由 HuggingFaceTB 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SmolLM2-1.7B-Instruct 是 SmolLM2 系列里经过指令微调的 1.7B 模型，这个系列是 HuggingFaceTB 的紧凑语言模型家族，有 135M、360M 和 1.7B 三种大小。这个系列小到可以在设备上使用。这个指令版本还能处理文本改写、总结和函数调用。

适合谁：适合想要一个能在笔记本、终端或浏览器里运行的小型英文聊天模型的开发者和爱好者。模型权重采用 Apache 2.0 许可证。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 在设备上或浏览器里运行小型聊天模型 | 用 Transformers.js 做的浏览器演示
效率工具 | 写作者 | 在本地改写或总结短文本 | 发送前把一段话缩短
教育 | 学生 | 了解小型语言模型是如何训练和运行的 | 用 TRL 命令在终端里聊天

如果你需要很强的小学数学能力，别的模型可能更合适，因为模型卡的基础模型表格里，Qwen2.5-1.5B 在 GSM8K 上遥遥领先。

用在哪里：

• 使用 transformers 库的 Python，可用 GPU 或 CPU
• 终端，通过 TRL 的聊天命令
• JavaScript，通过 Transformers.js
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
本地聊天 | 普通用户 | 来自你自己设备上模型的简短回答
文本改写 | 写作者 | 你的文字的改写版本
函数调用 | 应用开发者 | 指明要调用哪个函数的回复

如何设置：

• Python，或走 JavaScript 路线时用 Node
• transformers 软件包，或 trl，或 Transformers.js 软件包，取决于你怎么运行它
• 为权重留出空间，BF16 约 3.4 GB，按 4-bit 估计约 856 MB

1. 安装 Python，并用下面第一段安装 transformers 软件包。
2. 也可以用第二段里 Hugging Face 的两条命令复制模型文件。
3. 想在终端里聊天就安装 trl，想用 JavaScript 就安装 Transformers.js 软件包。

pip install transformers

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM2-1.7B-Instruct

如何使用：在 Python 里，你加载分词器和模型，用聊天模板包装一条消息，然后生成回复。

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM2-1.7B-Instruct"

device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# for multiple GPUs install accelerate and do `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

messages = [{"role": "user", "content": "What is the capital of France."}]
input_text=tokenizer.apply_chat_template(messages, tokenize=False)
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=50, temperature=0.2, top_p=0.9, do_sample=True)
print(tokenizer.decode(outputs[0]))

想在 CPU 上从终端聊天，安装 trl 并运行它的聊天命令。

pip install trl
trl chat --model_name_or_path HuggingFaceTB/SmolLM2-1.7B-Instruct --device cpu

在 JavaScript 里，Transformers.js 软件包会构建一个文本生成流水线。

npm i @huggingface/transformers

import { pipeline } from "@huggingface/transformers";

// Create a text generation pipeline
const generator = await pipeline(
  "text-generation",
  "HuggingFaceTB/SmolLM2-1.7B-Instruct",
);

// Define the list of messages
const messages = [
  { role: "system", content: "You are a helpful assistant." },
  { role: "user", content: "Tell me a joke." },
];

// Generate a response
const output = await generator(messages, { max_new_tokens: 128 });
console.log(output[0].generated_text.at(-1).content);

Tool | What it does
transformers | 在 Python 里加载并运行模型
trl chat | 打开与模型的终端聊天
Transformers.js | 用文本生成流水线从 JavaScript 运行模型

示例：你向 Python 脚本发送消息 "What is the capital of France."。它会打印出解码后的回复，生成在 50 个新 token 后停止。

新手与专家：第一件可以试的小事是终端聊天命令，因为它不需要写代码。输入一个问题，读一读回复。

这个 1.7B 模型用 11 万亿个 token 训练，数据来自 FineWeb-Edu、DCLM、The Stack 以及新整理的数学和编码数据集。指令版本先在公开和整理过的数据上做监督微调，再用 UltraFeedback 做直接偏好优化。函数调用和改写能力来自 Argilla 制作的数据集。

在 11 万亿 token 上预训练
在指令数据上做监督微调
用直接偏好优化调优
用 transformers 加载
聊天或调用函数

注意事项：

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 下载时从 Hugging Face 获取文件，来源没有提到其他内容
• 语言：英语
• 除非另有说明，模型卡里的分数都是用 lighteval 以零样本方式运行的

Title: 各基础模型的 HellaSwag 分数
SmolLM2-1.7B: 68.7
Qwen2.5-1.5B: 66.4
SmolLM1-1.7B: 62.9
Llama-1B: 61.2

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：1.7B
• Weights: about 3.4 GB in BF16; about 856 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：267,519
• 点赞：772
• 许可证：apache-2.0
• 语言：en
• 基于：HuggingFaceTB/SmolLM2-1.7B
• Quantized versions: 131
• Fine-tunes: 168
• 标签：transformers, tensorboard, onnx, safetensors, llama, text-generation, transformers.js, conversational

链接

• 模型：https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct
• 文件：https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM2-1.7B-Instruct

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。