Qwen3.8-9B-Distill

Qwen3.8-9B-Distill

逐步推理数学、代码和一般问题，每个回答都以思考块开头。这是用更大的 Qwen3.8 教师模型的轨迹训练出的 9B Qwen3.5 模型，适合单张 GPU 使用。

由 empero-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.8-9B-Distill 是 Empero 发布的 9B 模型。它是把一个大得多的 Qwen3.8 教师模型全参数蒸馏到 Qwen3.5-9B 架构上的结果。学生模型在大约 70,000 条经过筛选、包含推理过程的教师回答上训练。内容偏向高难度数学和竞赛编程，也有一些日常和工具使用的情形。目标是把大模型的推理能力带入一个能放进单张 GPU 的稠密模型。

适合谁：想要一个能在单张 GPU 上运行的推理模型的开发者、学生和研究者。

Industry | Who uses it | How they use it | Example
软件开发 | 运行本地模型的开发者 | 提出编程和工具使用问题，并显示推理过程 | 请它修复一个失败的函数调用
教育 | 数学和逻辑的学生 | 在思考过程可见的情况下解应用题 | 解蜗牛爬井的谜题
研究 | 研究蒸馏的人 | 把学生模型与它的 Qwen3.5-9B 基础模型对比 | 在两个模型上运行同一个基准

如果你需要简短的即时回答，可以跳过它，因为每个回复都以思考块开头。

用在哪里：任何支持 Qwen3.5 架构的运行环境都应该能加载它，包括 Hugging Face transformers、vLLM 和 SGLang。文件可以在 Windows、macOS 或 Linux 上下载。

• transformers、vLLM 或 SGLang
• 能容纳 BF16 约 19.3 GB 权重的 GPU，4-bit 估计约 4.8 GB
• Windows、macOS 或 Linux：可以用 Python 获取文件的系统

Use case | Who | What they get back
数学和逻辑 | 学生 | 一个思考块和最终答案
代码问题 | 开发者 | 有推理的解释和代码
函数调用 | 智能体构建者 | Qwen3.5 原生格式的工具调用

如何设置：先准备 Python 和 GPU。你的 transformers 版本必须足够新，才包含 Qwen3.5。

• 带 pip 的 Python
• 较新的 transformers 版本
• 两个额外的内核包，flash-linear-attention 和 causal_conv1d，没有它们某些层会运行得很慢，并占用更多内存

1. 安装 Hugging Face hub 库。
2. 下载模型文件。
3. 安装较新的 transformers 和 Gated DeltaNet 内核。
4. 运行快速开始代码。

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-9B-Distill

如何使用：加载模型，发送一条聊天消息，并留出足够多的新 token。模型卡推荐温度 0.6、top_p 0.95、top_k 20，并警告说在长回答上用贪心解码可能会陷入循环。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "empero-ai/Qwen3.8-9B"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "A snail is at the bottom of a 10-meter well. Each day it climbs 3 meters, each night it slips back 2. How many days until it escapes?"}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)

out = model.generate(inputs, max_new_tokens=16384,
                     temperature=0.6, top_p=0.95, top_k=20, do_sample=True)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

Tool | What it does
apply_chat_template | 为模型构建聊天提示词
model.generate | 生成回答，这里最多 16,384 个新 token

示例：你问快速开始代码里的蜗牛和井的谜题。模型会写出一个思考块，推演爬升和滑落的规律，然后给出天数。

新手与专家：如果你刚接触这类模型，要预期答案前有一段很长的思考。把回复展示给别人时，请去掉 think 块。

如果你熟悉这个领域，学生模型是在教师轨迹上做监督微调训练的，而不是在自己的尝试上训练。所以它继承了教师的风格，包括在简单问题上偶尔过长的思考。这次微调只针对文本，基础模型的视觉能力没有测试。

大型 Qwen3.8 教师写出轨迹
约 70,000 条轨迹经过筛选
微调 Qwen3.5-9B 学生模型
你在一张 GPU 上运行它

注意事项：模型卡报告了它与 Qwen3.5-9B 基础模型对比的自测，使用思维链提示词。MMLU 分数上升，GSM8K 略有下降。

Title: 模型卡测试，灵活匹配分数
Task | Qwen3.5-9B base | Qwen3.8-9B
MMLU with chain of thought | 0.546 | 0.751
GSM8K with chain of thought | 0.885 | 0.870

• License: Apache 2.0
• Cost to run: 未提及，硬件由你自己提供
• Data it reaches: 模型卡没有提到
• Not for: 图像任务，因为这次微调只针对文本

Hugging Face 上的数据（2026年11月14日）

• 任务：text generation
• 框架：transformers
• 参数量：9.7B
• Weights: about 19.3 GB in BF16; about 4.8 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：6,592
• 点赞：237
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3.5-9B
• Quantized versions: 38
• Fine-tunes: 13
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, empero-ai, qwen3.5, qwen3.8, distillation, reasoning, function-calling, text-generation, conversational

链接

• 模型：https://huggingface.co/empero-ai/Qwen3.8-9B-Distill
• 文件：https://huggingface.co/empero-ai/Qwen3.8-9B-Distill/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-9B-Distill

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。