Qwen3.8-4B-Distill-GGUF

Qwen3.8-4B-Distill-GGUF

在笔记本或中端显卡上运行 4B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp 等应用。

由 empero-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 empero-ai 的 Qwen3.8-4B 的 GGUF 文件，这是一个约 4.3B 参数的推理模型。它从一个大得多的 Qwen3.8 教师模型蒸馏到 Qwen3.5-4B 的设计中。提供五个文件，从 2.783 GB 的 Q4_K_M 量化版本到 8.666 GB 的 BF16 参考版本。

适合谁：适合想要中等规模本地模型来做聊天、数学和推理的人，也适合需要能放进消费级 GPU 的模型的开发者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在应用或聊天窗口背后运行本地模型 | 桌面工具的离线助手
教育 | 学生和老师 | 在个人电脑上练习推理题 | 可离线工作的学习助手
研究 | 机器学习研究人员 | 把蒸馏模型与其基础模型对比 | 在知识和数学数据集上的测试
IT 运维 | 小型团队 | 让提示词留在自己的硬件上 | 一个私有的笔记摘要工具

如果你需要处理长文档或追求最高准确度，可以跳过它，因为它是一个小型蒸馏模型。

用在哪里：

• llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp
• Windows、macOS 或 Linux 上的其他标准 GGUF 运行时
• 有或没有显卡的笔记本和台式机

Use case | Who | What they get back
本地聊天 | 个人 | 在你自己电脑上生成的带推理的回答
知识问答 | 学生 | 带有可见思考块的分步回答
应用功能 | 开发者 | 无需网络连接即可运行的模型

如何设置：

• Python，用来运行 Hugging Face 下载工具
• 版本足够新、认得 Qwen3.5 设计及其 Gated DeltaNet 层的 llama.cpp，因为更旧的版本打不开这个文件
• 两个较小的量化版本，4 到 6 GB 的显卡就够，仅用 CPU 运行也是不错的选择
• Q6_K 和 Q8_0 建议 6 到 8 GB，BF16 需要 12 GB 或更多

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载整个仓库，或只选一个 GGUF 文件。
3. 在 llama.cpp、Ollama、LM Studio、Jan 或 KoboldCpp 里加载该文件。

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-4B-Distill-GGUF

如何使用：用 llama-cli 和你选的文件开始聊天。-cnv 参数会开启内置聊天模板，并且你应该允许较长的输出，因为模型会先思考再回答。

llama-cli -m Qwen3.8-4B-Q4_K_M.gguf \
  --temp 0.6 --top-p 0.95 --top-k 20 \
  -n 16384 -cnv

Tool | What it does
Qwen3.8-4B-Q4_K_M.gguf | 推荐的质量与体积平衡，2.783 GB
Qwen3.8-4B-Q5_K_M.gguf | 体积略增，质量更高，3.161 GB
Qwen3.8-4B-Q6_K.gguf | 接近无损，3.563 GB
Qwen3.8-4B-Q8_0.gguf | 质量最高的量化，4.611 GB
Qwen3.8-4B-BF16.gguf | 全精度参考版本，8.666 GB

示例：你用 Q4_K_M 文件启动 llama-cli，并问“Explain why the sky is blue in three steps”。模型先写出它的思考，再给出三个步骤。你的应用在展示回复之前，应该把思考块隐藏起来。

新手与专家：先用模型卡推荐的 Q4_K_M 文件，并保持它的采样数值。如果回答提前结束，就调高输出上限。

模型卡说蒸馏用了约 45,000 条精选的教师轨迹。在它自己的表格里，蒸馏模型的 mmlu 得分是 0.553，基础模型是 0.354，但 gsm8k_cot 得分是 0.785，基础模型是 0.850。上下文很长时，KV 缓存成为主要的内存开销，所以只看权重大小会低估你需要的内存。

下载一个 GGUF 文件
在 GGUF 运行时中加载
设置较低的 temperature、top-p、top-k
模型先思考再回答
向用户展示时去掉思考块

注意事项：

• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 从 Hugging Face 下载文件，之后在你自己的设备上运行
• Not for: 旧版 llama.cpp 构建，它们无法加载这个架构
• Limits: 模型卡的表格显示它的 gsm8k_cot 得分低于基础模型

Title: 模型卡中的思维链分数，基础模型与蒸馏模型对比
mmlu, Qwen3.5-4B base: 0.354
mmlu, Qwen3.8-4B: 0.553
gsm8k_cot, Qwen3.5-4B base: 0.850
gsm8k_cot, Qwen3.8-4B: 0.785

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：4.3B
• Weights: about 2.2 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：570,974
• 点赞：208
• 许可证：apache-2.0
• 语言：en
• 基于：empero-ai/Qwen3.8-4B
• Quantized versions: 2
• 标签：gguf, llama.cpp, quantized, empero-ai, qwen3.5, qwen3.8, distillation, reasoning, gated-deltanet, text-generation, conversational

链接

• 模型：https://huggingface.co/empero-ai/Qwen3.8-4B-Distill-GGUF
• 文件：https://huggingface.co/empero-ai/Qwen3.8-4B-Distill-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-4B-Distill-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。