SmolLM3-3B

SmolLM3-3B

作为小型 3B 开放模型来写作和回答问题，支持可切换的逐步思考、工具调用和长上下文，适合想在自己电脑上用紧凑模型的开发者。

由 HuggingFaceTB 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SmolLM3-3B 是 HuggingFaceTB 的小型开放语言模型，约有 3.1B 参数。它是经过指令微调的聊天模型，可以逐步推理，也可以直接回答，并且支持工具调用。它的权重是开放的，数据配比和训练设置也已公开。

适合谁：如果你想在一台电脑上运行紧凑的模型，用 GPU 或 CPU 都行，它适合你，开发者、学生和研究人员尤其合适。

Title: Who uses this model
行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 给应用加入一个本地的小型聊天模型 | 在工具里回答简短问题
教育 | 学生和老师 | 学习语言模型是怎样被加载和提示的 | 运行示例脚本并阅读回复
研究 | 机器学习研究人员 | 研究一个资料齐全的小模型 | 对比它的思考模式和直接回答

如果你需要在难题上得到最强的回答，更大的模型可能更合适，你可以跳过这个。

用在哪里：

• 使用 transformers 库的 Python 脚本
• vllm，它可以用 transformers 作为后端加载这个模型
• GPU 或普通 CPU
• 装有 Python 的 Windows、macOS 或 Linux

Title: Jobs it does
用途 | 适合谁 | 得到什么
聊天和问答 | 任何人 | 对提示词的通俗回答
逐步推理 | 研究人员 | 附带推理过程的答案
工具调用 | 智能体开发者 | 可以调用你传入的工具的回复
长文档 | 开发者 | 借助 YaRN 处理最长 128k token 的输入

如何设置：你需要 Python 和较新的 transformers。

• 带 pip 的 Python
• Transformers 4.53.0 或更新版本
• 约 6.2 GB 的磁盘空间，用来放 BF16 权重

1. 升级 transformers。
2. 运行示例脚本。用 GPU 就把 device 一行设为 cuda，用 CPU 就设为 cpu。
3. 也可以先用两条下载命令保存文件。

pip install -U transformers

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM3-3B

如何使用：加载分词器和模型，构造一条聊天消息，套用聊天模板，再调用 generate。模型卡建议采样时用 0.6 的 temperature 和 0.95 的 top_p。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HuggingFaceTB/SmolLM3-3B"
device = "cuda"  # for GPU usage or "cpu" for CPU usage

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
).to(device)

# prepare the model input
prompt = "Give me a brief explanation of gravity in simple terms."
messages_think = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages_think,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# Generate the output
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)

# Get and decode the output
output_ids = generated_ids[0][len(model_inputs.input_ids[0]) :]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

扩展思考默认开启。想关闭它，可以在套用聊天模板时把 enable_thinking 设为 false，或者在系统消息里加一个 no-think 标记。系统消息里的标记优先于这个设置。

prompt = "Give me a brief explanation of gravity in simple terms."
messages = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False
)

Title: Thinking switches
工具 | 作用
/think | 系统消息里的标记，保持扩展思考开启
/no_think | 系统消息里的标记，关闭扩展思考
enable_thinking | 传给聊天模板的设置，用来开启或关闭思考

示例：你让它用通俗的话简短解释重力。开启思考时，模型先给出推理过程，再给出答案。关闭思考时，它直接回答。

新手与专家：你可以把它看作一个能装进普通电脑的小助手。第一次小测试就是上面的示例脚本，它问一个问题并打印回复。可以分别在开启和关闭思考的情况下各试一次。

它是仅解码器的 Transformer，使用分组查询注意力和 NoPE，比例为 3 比 1。预训练分阶段进行，用了 11.2T token 的网页、代码、数学和推理数据。后训练增加了 140B token 的推理中期训练，然后是监督微调和 Anchored Preference Optimization。它在 64k 上下文上训练，借助 YaRN 外推可达 128k token。

分阶段预训练，11.2T token
推理中期训练
监督微调
Anchored Preference Optimization
带思考开关的聊天模型

注意事项：模型卡写明原生支持六种语言：英语、法语、西班牙语、德语、意大利语和葡萄牙语。配置文件按 65,536 个 token 设置，更长的输入需要修改 rope_scaling。其他人发布了 126 个量化版本和 178 个微调版本。

Title: Estimated weight size
BF16: 6.2 GB
4 位: 1.5 GB

• License: Apache 2.0。
• Cost to run: 未提及。
• Data it reaches: 文件来自 Hugging Face，之后模型在你自己的电脑上运行。
• Not for: 模型卡自己的局限性部分提醒的任何情形，所以请先读那一部分。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：3.1B
• Weights: about 6.2 GB in BF16; about 1.5 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：276,681
• 点赞：1,079
• 许可证：apache-2.0
• 语言：en, fr, es, it, pt, zh, ar, ru
• 基于：HuggingFaceTB/SmolLM3-3B-Base
• Quantized versions: 129
• Fine-tunes: 178
• 标签：transformers, safetensors, smollm3, text-generation, conversational

链接

• 模型：https://huggingface.co/HuggingFaceTB/SmolLM3-3B
• 文件：https://huggingface.co/HuggingFaceTB/SmolLM3-3B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download HuggingFaceTB/SmolLM3-3B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。