SmolLM2-360M

SmolLM2-360M

用一个 3.62 亿参数、训练了 4 万亿词元、轻到能在设备上运行的基础语言模型，根据提示续写英文文本。适合想用小型基础模型做测试或微调的开发者。

由 HuggingFaceTB 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SmolLM2-360M 是 SmolLM2 系列的中间型号，介于 135M 和 1.7B 版本之间。它是基础模型，所以会接着你给的文字写下去，不遵循聊天指令。它用取自 FineWeb-Edu、DCLM、The Stack 以及额外过滤数据集的 4 万亿个词元训练。

适合谁：适合想不用大型硬件就能用一个小型英文语言模型做实验、教学或微调的开发者、学生和研究者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用开发者 | 用紧凑模型尝试设备端文本功能 | 离线测试短语补全
教育 | 教师和学生 | 学习因果语言模型怎样加载和生成 | 文本续写的实验练习
研究 | 机器学习研究者 | 为一个窄任务微调小型基础模型 | 用公司自己的文档训练它
基准测试 | 评测人员 | 在常见零样本测试上比较小模型 | 对照 Qwen2.5-0.5B 检查分数

如果你需要聊天表现或数学能力，可以跳过，因为模型卡中基础模型的 GSM8K 只有 3.2 分。

用在哪里：

• 使用 transformers 库的 Python 脚本
• CPU、单块 GPU 或多块 GPU，模型卡的示例都有展示
• 装有 Python 的 Windows、macOS 或 Linux

用例 | 谁用 | 得到什么
文本续写 | 开发者 | 一段短提示写完后的版本
微调起点 | 研究者 | 可以继续训练的中等小型模型
本地测试 | 工程师 | 不需要大 GPU 就能在笔记本上运行的模型

如何设置：先准备好这些。

• 带 pip 的 Python
• transformers 库，如果要把模型分到多块 GPU 上还需要 accelerate
• BF16 权重约 724 MB，4-bit 估计约 181 MB

1. 用 pip 安装 transformers 库。
2. 按 Hugging Face 名称加载模型。
3. 编码提示、生成并解码。

pip install transformers

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM2-360M

如何使用：加载分词器和模型，把模型放到你的设备上，编码一条简短提示并生成。模型卡给出一个全精度脚本和一个 bfloat16 脚本。

# pip install transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM2-360M"
device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# for multiple GPUs install accelerate and do `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

# pip install accelerate
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
checkpoint = "HuggingFaceTB/SmolLM2-360M"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# for fp16 use `torch_dtype=torch.float16` instead
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", torch_dtype=torch.bfloat16)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

工具 | 作用
AutoTokenizer | 把文本转成词元 ID，再转回来
AutoModelForCausalLM | 加载模型权重
model.generate | 写出提示的续写
device_map="auto" | 把模型分布到可用的 GPU 上，需要 accelerate

示例：用提示“Gravity is”运行第一个脚本。模型接着写这个句子，脚本把提示和它的续写一起打印出来。得到的是普通的行文，而不是对问题的回答。

新手与专家：如果你是新手，这个模型是补全文本的，不接受指令。先在 CPU 上试一个简短的句子开头，然后改一改，比较模型补了什么。

如果你熟悉这个领域，模型卡用 lighteval 把它与 Qwen2.5-0.5B 和 SmolLM-360M 做了对比。它在 HellaSwag、ARC、PIQA、MMLU cloze、CommonsenseQA 和 TriviaQA 上领先。Qwen2.5-0.5B 在 Winogrande 上领先，在 GSM8K 上遥遥领先，33.4 对 3.2。聊天用的话有指令版本。

你的提示文本
分词器生成词元 ID
模型预测接下来的词元
词元解码成文字
打印续写结果

注意事项：

• 语言：仅英语
• 规模：362M 参数，Safetensors 格式
• 系列：还有 135M 和 1.7B 的兄弟模型，以及指令版本
• 社区：其他人做过 44 个量化版本和 139 个微调版本

Title: 模型卡中 SmolLM2-360M 的零样本分数
HellaSwag: 54.5 分
ARC average: 53.0 分
PIQA: 71.7 分
MMLU cloze: 35.8 分
CommonsenseQA: 38.0 分
TriviaQA: 16.9 分
Winogrande: 52.5 分
OpenBookQA: 37.4 分

• License: Apache 2.0
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务
• Data it reaches: 你交给自己脚本的提示词，来源没有提到网络或账号访问
• Not for: 聊天、指令遵循或数学，因为模型卡的 GSM8K 分数是 3.2

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：362M
• Weights: about 724 MB in BF16; about 181 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：139,095
• 点赞：146
• 许可证：apache-2.0
• 语言：en
• Quantized versions: 44
• Fine-tunes: 139
• 标签：transformers, safetensors, llama, text-generation

链接

• 模型：https://huggingface.co/HuggingFaceTB/SmolLM2-360M
• 文件：https://huggingface.co/HuggingFaceTB/SmolLM2-360M/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM2-360M

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。