SmolLM2-135M

SmolLM2-135M

用一个 1.35 亿参数、小到能在设备上运行的基础语言模型，根据提示续写英文文本。适合想用微型模型做测试或微调的开发者。

由 HuggingFaceTB 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SmolLM2-135M 是 SmolLM2 系列中最小的模型，这个系列还有 360M 和 1.7B 版本。这个是基础模型，所以它会续写你给的文字，而不是遵循聊天指令。它用来自 FineWeb-Edu、DCLM、The Stack 以及额外过滤数据的 2 万亿个词元训练。

适合谁：适合想在普通硬件上用一个极小的英文语言模型做实验、教学或微调的开发者、学生和研究者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用开发者 | 用微型模型为设备端文本功能做原型 | 离线测试自动补全的表现
教育 | 教师和学生 | 学习语言模型怎样加载和生成 | 课堂上演示文本续写
研究 | 机器学习研究者 | 为一个窄任务微调小型基础模型 | 用某个领域的文本训练它
工具链 | 流水线开发者 | 用加载很快的模型对代码做冒烟测试 | 端到端检查生成流程

如果你需要可靠的答案或聊天表现，可以跳过，因为模型卡自己给出的数学和常识问答分数很低。

用在哪里：

• 使用 transformers 库的 Python 脚本
• CPU、单块 GPU 或多块 GPU，模型卡的示例都有展示
• 装有 Python 的 Windows、macOS 或 Linux

用例 | 谁用 | 得到什么
文本续写 | 开发者 | 一段短提示的续写
微调基础 | 研究者 | 用于任务训练的小型起点
流水线测试 | 工程师 | 在笔记本上加载很快的模型

如何设置：先准备好这些。

• 带 pip 的 Python
• transformers 库，如果要把模型分到多块 GPU 上还需要 accelerate
• 放权重的空间：BF16 约 269 MB，4-bit 估计约 67 MB

1. 用 pip 安装 transformers 库。
2. 按 Hugging Face 名称加载模型。
3. 编码提示，调用 generate，再解码结果。

pip install transformers

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM2-135M

如何使用：加载分词器和模型，把模型放到你的设备上，编码一条简短提示并调用 generate。模型卡展示了一个全精度脚本和一个 bfloat16 脚本。

# pip install transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM2-135M"
device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# for multiple GPUs install accelerate and do `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

# pip install accelerate
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
checkpoint = "HuggingFaceTB/SmolLM2-135M"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# for fp16 use `torch_dtype=torch.float16` instead
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", torch_dtype=torch.bfloat16)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

工具 | 作用
AutoTokenizer | 把你的提示变成词元 ID，再变回文字
AutoModelForCausalLM | 加载模型权重
model.generate | 续写提示
device_map="auto" | 把模型放到你可用的 GPU 上，需要 accelerate

示例：用提示“Gravity is”运行第一个脚本。模型会续写这个句子，脚本打印出提示加续写。预期得到一段简短、大致说得过去的文字，因为 135M 的基础模型在事实上比较弱。

新手与专家：如果你是新手，基础模型只会把句子写完，不会听从命令。先在 CPU 上运行一次 Gravity 示例，看它补了什么。然后把提示改成你自己句子的开头。

如果你熟悉这个领域，模型卡用 lighteval 在零样本基准上把它和 SmolLM-135M 做了对比。SmolLM2 在 HellaSwag、ARC 和 MMLU cloze 上略高，在 PIQA 和 Winogrande 上持平，在 TriviaQA 上稍低。指令版本是在这个基础模型之上加了监督微调和 DPO。

你的提示文本
分词器生成词元 ID
模型预测接下来的词元
词元被解码成文字
打印续写结果

注意事项：

• 语言：仅英语
• 规模：135M 参数，Safetensors 格式
• 系列：还有 360M 和 1.7B 的兄弟模型，每个都有指令版本
• 社区：其他人做过 79 个量化版本和 1,000 个微调版本

Title: 模型卡中 SmolLM2-135M 的零样本分数
HellaSwag: 42.1 分
ARC average: 43.9 分
PIQA: 68.4 分
MMLU cloze: 31.5 分
CommonsenseQA: 33.9 分
Winogrande: 51.3 分
OpenBookQA: 34.6 分
TriviaQA: 4.1 分

• License: Apache 2.0
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务
• Data it reaches: 你交给自己脚本的提示词，来源没有提到网络或账号访问
• Not for: 聊天或指令遵循，也不适合数学，因为模型卡给出的 GSM8K 分数是 1.4

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：135M
• Weights: about 269 MB in BF16; about 67 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：2,596,139
• 点赞：269
• 许可证：apache-2.0
• 语言：en
• Quantized versions: 79
• Fine-tunes: 1,002
• 标签：transformers, safetensors, llama, text-generation

链接

• 模型：https://huggingface.co/HuggingFaceTB/SmolLM2-135M
• 文件：https://huggingface.co/HuggingFaceTB/SmolLM2-135M/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM2-135M

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。