Qwen3.8-2B-Distill-GGUF

Qwen3.8-2B-Distill-GGUF

在手机、笔记本和单板计算机上运行小型 2B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp。

由 empero-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 empero-ai 的 Qwen3.8-2B 的 GGUF 文件，这是一个约 1.9B 参数的小型推理模型。该模型从一个大得多的 Qwen3.8 教师模型蒸馏到 Qwen3.5-2B 架构中。文件有五种大小，从 1.312 GB 的 Q4_K_M 文件到 3.897 GB 的 BF16 参考版本。

适合谁：适合想在普通硬件上用小型本地模型做聊天、数学和推理的人，也适合需要轻量模型给应用使用的开发者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 把小型本地模型嵌入应用 | 可离线工作的聊天功能
教育 | 学生和老师 | 在学校的笔记本上试用推理模型 | 在本地运行的数学助手
业余电子 | 创客 | 在单板计算机上运行模型 | 家庭助手原型
研究 | 机器学习研究人员 | 把蒸馏后的小模型与其基础模型对比研究 | 在数学应用题上的对比

如果你想要最大最强的模型，可以跳过它，因为这个模型是为小型设备准备的。

用在哪里：

• llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp
• Windows、macOS 或 Linux 上的其他标准 GGUF 运行时
• 手机和单板计算机，使用较小的量化版本

Use case | Who | What they get back
本地聊天 | 个人 | 在手机或笔记本上生成的带推理的回答
数学和逻辑 | 学生 | 带有可见思考块的分步解答
离线助手 | 开发者 | 无需网络连接的小型模型

如何设置：

• Python，用来运行 Hugging Face 下载工具
• 版本足够新、认得 Qwen3.5 设计及其 Gated DeltaNet 层的 llama.cpp，因为更旧的版本打不开这个文件
• Q4_K_M 和 Q5_K_M 适合手机和任何现代笔记本，仅用 CPU 也行
• Q6_K 和 Q8_0 需要 4 GB 以上的 GPU，或带 8 GB 内存的 CPU
• BF16 需要 6 GB 以上的 GPU

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载整个仓库，或只选一个 GGUF 文件。
3. 在 llama.cpp、Ollama、LM Studio、Jan 或 KoboldCpp 里加载该文件。

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-2B-Distill-GGUF

如何使用：用 llama-cli 和你选的文件开始聊天。使用内置的聊天模板，-cnv 参数会开启它，并允许较长的输出，因为模型会先思考再回答。

llama-cli -m Qwen3.8-2B-Q4_K_M.gguf \
  --temp 0.6 --top-p 0.95 --top-k 20 \
  -n 16384 -cnv

Tool | What it does
Qwen3.8-2B-Q4_K_M.gguf | 推荐的质量与体积平衡，1.312 GB
Qwen3.8-2B-Q5_K_M.gguf | 体积略增，质量更高，1.455 GB
Qwen3.8-2B-Q6_K.gguf | 接近无损，1.606 GB
Qwen3.8-2B-Q8_0.gguf | 质量最高的量化，2.077 GB
Qwen3.8-2B-BF16.gguf | 全精度参考版本，3.897 GB

示例：你用 Q4_K_M 文件启动 llama-cli，并问“What is 17 times 23, and show your steps”。模型先写出它的思考，再给出答案。你的应用在向用户展示回复之前，应该把这个思考块隐藏起来。

新手与专家：先用模型卡推荐的 Q4_K_M 文件，并保持模型卡的采样数值。如果回答被截断，就调高输出上限。

这个基础系列在每个完整注意力层之间混合了三个 Gated DeltaNet 层。模型卡说蒸馏用了约 30,000 条精选的教师轨迹。上下文很长时，KV 缓存成为主要的内存开销，所以只看权重大小会低估你需要的内存。

下载一个 GGUF 文件
在 GGUF 运行时中加载
设置较低的 temperature、top-p、top-k
模型先思考再回答
向用户展示时去掉思考块

注意事项：

• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 从 Hugging Face 下载文件，之后在你自己的设备上运行
• Not for: 旧版 llama.cpp 构建，它们无法加载这个架构

Title: 模型卡中的思维链分数，基础模型与蒸馏模型对比
mmlu, Qwen3.5-2B base: 0.283
mmlu, Qwen3.8-2B: 0.548
gsm8k_cot, Qwen3.5-2B base: 0.330
gsm8k_cot, Qwen3.8-2B: 0.640

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：1.9B
• Weights: about 971 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：509,820
• 点赞：184
• 许可证：apache-2.0
• 语言：en
• 基于：empero-ai/Qwen3.8-2B
• Quantized versions: 1
• 标签：gguf, llama.cpp, quantized, empero-ai, qwen3.5, qwen3.8, distillation, reasoning, gated-deltanet, edge, text-generation, conversational

链接

• 模型：https://huggingface.co/empero-ai/Qwen3.8-2B-Distill-GGUF
• 文件：https://huggingface.co/empero-ai/Qwen3.8-2B-Distill-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-2B-Distill-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。