Qwen3.8-9B-Distill-GGUF

Qwen3.8-9B-Distill-GGUF

Empero 的 Qwen3.8-9B 的 GGUF 量化版本，一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型，适用于 llama.cpp、Ollama、LM Studio 等工具。

由 empero-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Empero 把自己的 Qwen3.8-9B 模型压缩成了 GGUF 文件，这个仓库放着它们的几种量化类型。源模型是把更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 的架构里。记录列出的参数量是 9.2B，语言是英语。

它是推理模型，所以每个回答都以思考块开头。训练用了来自更大教师模型的约 70,000 条精选推理轨迹。

适合谁：它适合在本地运行模型、想要有几种文件大小的 9B 推理模型的人，大小从 5.8 GB 的 Q4_K_M 到全精度文件。模型卡称 Q4 和 Q5 文件在 8 到 12 GB 的显卡上用起来很宽裕。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在本地运行推理模型处理代码和逻辑 | 理清一个棘手的算法
教育 | 学生和辅导老师 | 用会展示推理过程的模型练习 | 检查一道数学题的解答
研究 | 分析师 | 把蒸馏模型和它的基础模型对比测试 | 比较考试风格问题的回答
家庭实验室 | 爱好者 | 在消费级显卡上运行 9B 模型 | 在 12 GB 显卡上聊天

如果你用的是托管助手，从不自己运行模型，可以跳过它。

用在哪里：

• llama.cpp，需要支持 Qwen3.5 和 Gated DeltaNet 的较新版本
• Ollama、LM Studio、Jan 和 KoboldCpp，它们可以直接加载 GGUF 文件
• Windows、macOS 或 Linux，下载步骤需要 Python

用例 | 谁用 | 得到什么
带推理的本地聊天 | 有 GPU 的任何人 | 以思考块开头的回答
学校风格的问题 | 学生 | 一步步的回答
代码和逻辑帮助 | 开发者 | 来自 9B 模型的有推理过程的回答

如何设置：先准备好下面这些东西。

• Python 和 pip，用于下载命令
• 较新的 llama.cpp 版本，因为旧版本加载不了这个架构
• 你所选文件的磁盘空间，从 5.78 GB 到 18.4 GB

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载仓库。
3. 从下面的表里选一个量化版本，在你的工具里加载。

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-9B-Distill-GGUF

量化类型 | 大小 | 说明
Q4_K_M | 5.780 GB | 推荐，质量和大小的平衡
Q5_K_M | 6.643 GB | 质量提高一档，短上下文时 8 GB 显卡放得下
Q6_K | 7.559 GB | 模型卡称它近乎无损
Q8_0 | 9.786 GB | 质量最高的量化版本
BF16 | 18.407 GB | 全精度参考版本

如何使用：在 llama.cpp 里，你打开内置聊天模板，运行下面的命令。模型每次回答都以思考块开头，所以请把词元上限设大一些，并在把回答展示给最终用户前去掉那个块。在其他工具里，加载文件并使用模型卡的采样设置。

llama-cli -m Qwen3.8-9B-Q4_K_M.gguf \
  --temp 0.6 --top-p 0.95 --top-k 20 \
  -n 16384 -cnv

示例：你在终端里启动上面的命令，输入一道学校风格的数学题。模型先写出思考块，然后给出最终答案。如果你只想要答案，可以把思考部分去掉。

新手与专家：先用 Q4_K_M 文件和上面的命令。它是模型卡给大多数人推荐的选择。如果有多余的内存，再试 Q5_K_M 或 Q6_K。

模型卡报告思维链 MMLU 得分是 0.751，Qwen3.5-9B 基础模型是 0.546，GSM8K 得分是 0.870，对比 0.885。所以蒸馏在广泛知识上有提升，在小学数学上略有下降。这些是制作方在相同设置下自己测的数字。Qwen3.5 系列每个完整注意力层配三个 Gated DeltaNet 层。

Title: 模型卡中的思维链得分
MMLU，Qwen3.5-9B 基础模型: 0.546 score
MMLU，Qwen3.8-9B: 0.751 score
GSM8K，Qwen3.5-9B 基础模型: 0.885 score
GSM8K，Qwen3.8-9B: 0.870 score

用 hf 下载一个 GGUF 量化版本
在 llama.cpp 或其他工具里加载
用聊天模板发送问题
读取思考块和回答

注意事项：

• License: Apache 2.0
• Cost to run: 来源没有提到费用，但文件大小从 5.78 GB 到 18.4 GB
• Data it reaches: 它把文件从 Hugging Face 下载到你的电脑上
• Not for: 旧版 llama.cpp，它们加载不了这个架构

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：9.2B
• Weights: about 4.6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：537,695
• 点赞：356
• 许可证：apache-2.0
• 语言：en
• 基于：empero-ai/Qwen3.8-9B
• Quantized versions: 4
• 标签：gguf, llama.cpp, quantized, empero-ai, qwen3.5, qwen3.8, distillation, reasoning, gated-deltanet, text-generation, conversational

链接

• 模型：https://huggingface.co/empero-ai/Qwen3.8-9B-Distill-GGUF
• 文件：https://huggingface.co/empero-ai/Qwen3.8-9B-Distill-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-9B-Distill-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。