SmolLM3-3B-GGUF

SmolLM3-3B-GGUF

用 SmolLM3 聊天和推理，这是个完全开放的 3B 模型，可以一步步思考，也可以直接回答，提供 Unsloth 制作的 GGUF 文件，带聊天模板修复。能处理长文本和六种语言。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 SmolLM3-3B 的 GGUF 版本，它是 Hugging Face 团队的完全开放指令模型，约有 3.1B 参数。Unsloth 制作了这些文件并修复了聊天模板。4-bit 权重估计约 1.5 GB。这个模型可以一步步推理，也可以直接回答。

适合谁：想在笔记本或普通台式机上用一个小而开放的模型的人。研究人员会喜欢卡片公开了开放权重、训练细节、公开的数据组合和训练设置。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 给应用加上小型本地模型 | 在工具里起草简短回复
教育 | 学生 | 和模型聊天并看到它的推理 | 请它简单解释重力
研究 | AI 研究人员 | 研究训练细节公开的模型 | 复现它训练设置的一部分
多语言 | 跨国团队 | 用六种主要语言之一聊天 | 用法语或西班牙语提问

需要在难题上拿到最高质量的人可以跳过它，因为这是 3B 模型。

用在哪里：

• llama.cpp，加上 jinja 参数，这样会用到修复后的聊天模板
• 用 transformers 的 Python，如卡片的示例，它用的是原始权重
• 在 Windows、macOS 或 Linux 上用 Python 下载文件

Use case | Who | What they get back
聊天 | 任何人 | 一问一答对话里的书面回复
推理 | 学生和开发者 | 带可见思维链的回答
长文档 | 开发者 | 基于长上下文文本的回复
多语言聊天 | 跨国团队 | 支持语言的回复

如何设置：

• Python，用于 Hugging Face hub 工具
• 卡片的 Python 示例需要 Transformers v4.53.0 或更新版本
• 一个能加载 GGUF 文件的运行器，比如 llama.cpp

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载文件。
3. 在 llama.cpp 里加上 jinja 参数。
4. 运行 Python 示例前，先升级 transformers。

pip install -U huggingface_hub
hf download unsloth/SmolLM3-3B-GGUF

pip install -U transformers

如何使用：卡片的 Python 示例加载 SmolLM3-3B 的原始权重，请它简短解释重力，并打印回复。对于 GGUF 文件，用你的运行器和 jinja 参数。卡片建议温度 0.6、top_p 0.95。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HuggingFaceTB/SmolLM3-3B"
device = "cuda"  # for GPU usage or "cpu" for CPU usage

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
).to(device)

# prepare the model input
prompt = "Give me a brief explanation of gravity in simple terms."
messages_think = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages_think,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# Generate the output
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)

# Get and decode the output
output_ids = generated_ids[0][len(model_inputs.input_ids[0]) :]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

Tool | What it does
/think | 要求扩展思考，在系统提示词里设置
/no_think | 关闭扩展思考，在系统提示词里设置
enable_thinking | 作用相同的设置，系统提示词里的标志会覆盖它
--jinja | 应用修复后聊天模板的 llama.cpp 参数

示例：你请模型用几行大白话讲讲东西为什么会掉下来。思考打开时，模型先写出推理再回答。如果你在系统提示词里加上不思考的标志，它就直接回答。

新手与专家：学习时让思考保持打开，因为它是默认设置，而且能看到模型是怎么推理的。想要快速回复时再关掉它。除非有理由，否则保留建议的温度和 top_p。

这个模型是仅解码器的 transformer，以 3 比 1 的比例使用分组查询注意力和 NoPE。它在 11.2T 词元的网页、代码、数学和推理数据上预训练。后面的步骤加入了 140B 词元的推理数据，再做监督微调和锚定偏好优化。

写出对话，可带思考标志
聊天模板构建提示词
思考打开时模型先推理
它写出最终回答

注意事项：

• Thinking: 扩展思考默认打开，系统提示词里的标志会覆盖该设置。
• Context: 用 64k 词元训练，通过 YARN 外推可达 128k。
• Languages: 原生支持六种，其中有英语、法语和西班牙语。
• License: Apache 2.0。
• Cost to run: 未提及。来源里没有出现 API 密钥或付费服务。
• Data it reaches: 你电脑上的文件，以及来自 Hugging Face 的模型文件。
• Not for: 来源没有写明禁止的用途，也没有写明它做不到的任务。

Hugging Face 上的数据（2026年11月13日）

• 框架：transformers
• 参数量：3.1B
• Weights: about 1.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：7,521
• 点赞：36
• 许可证：apache-2.0
• 语言：en, fr, es, it, pt, zh, ar, ru
• 基于：HuggingFaceTB/SmolLM3-3B
• 标签：transformers, gguf, unsloth, conversational

链接

• 模型：https://huggingface.co/unsloth/SmolLM3-3B-GGUF
• 文件：https://huggingface.co/unsloth/SmolLM3-3B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/SmolLM3-3B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。