Qwen3.8-35B-A3B-Distill

Qwen3.8-35B-A3B-Distill

回答前先一步步推理，使用 35B 的混合专家模型，每个词元只激活约 3B 参数。由 Qwen3.8 教师推理轨迹蒸馏而来，侧重数学和代码。

由 empero-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.8-35B-A3B-Distill 是 Empero 做的较小的学生模型，用更大的 Qwen3.8 模型的详细解答训练而成。它基于 Qwen3.6-35B-A3B 架构，总共 35B 参数，每个词元只用约 3B，每次从 256 个专家中路由 8 个。每条回复都以一个展示推理过程的思考块开头。

适合谁：它适合想要一个力求在单张 GPU 上运行、数学和代码较强的推理模型的开发者和研究者。

行业 | 谁在用 | 怎么用 | 例子
软件开发 | 开发者 | 在本地运行推理模型来回答代码问题 | 一步步解决一道编程题
教育 | 辅导老师和学生 | 在展示推理过程的情况下做数学应用题 | 讲解蜗牛爬井的题目
智能体开发 | 智能体开发者 | 在工具工作流里使用它内置的函数调用 | 让模型在聊天中调用一个工具
研究 | 机器学习研究者 | 研究从教师轨迹中蒸馏 | 在 ARC 上与基础模型对比

如果你需要小的下载体积，可以跳过它，因为 BF16 权重约 70 GB。

用在哪里：

• Python 里的 Hugging Face Transformers
• vLLM、SGLang 以及其他支持 Qwen3.6 架构的运行环境
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用例 | 谁用 | 得到什么
数学和代码问题 | 学生和开发者 | 先是推理块，再是答案
工具使用 | 智能体开发者 | 符合 Qwen3.6 规范的函数调用
长输入 | 分析师 | 最长 262,144 个词元的上下文处理

如何设置：请准备 Python、能放下权重的 GPU，以及认识 Qwen3.6 架构的最新 transformers。

• 用于下载的 Python 和 huggingface_hub
• 支持 Qwen3.6 的较新 transformers 版本
• 两个内核附加包：flash-linear-attention 和与你的 CUDA 版本匹配的 causal_conv1d 构建，因为退回到普通 PyTorch 会更慢、更占内存
• BF16 权重大约 70 GB，4-bit 估计约 17.6 GB

1. 安装 huggingface_hub。
2. 下载模型文件。
3. 安装较新的 transformers 和那两个内核包。
4. 运行快速上手脚本。

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-35B-A3B-Distill

如何使用：模型卡的快速上手会加载模型，发送一条聊天消息并打印回复。它里面的模型 ID 写成了 Distilled，所以请使用你下载的那个仓库的名称。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "empero-ai/Qwen3.8-35B-A3B-Distilled"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "A snail is at the bottom of a 10-meter well. Each day it climbs 3 meters, each night it slips back 2. How many days until it escapes?"}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True,
                                 return_tensors="pt", return_dict=True).to(model.device)

out = model.generate(**inputs, max_new_tokens=16384,
                     temperature=0.6, top_p=0.95, top_k=20, do_sample=True)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

工具 | 作用
temperature, top_p, top_k | 作者建议的采样值：0.6、0.95 和 20
max_new_tokens 16384 | 给思考块和答案留出空间
do_sample=True | 避免贪心解码，它在长输出上可能陷入循环
AutoModelForCausalLM | 加载模型的文本部分

示例：你发送快速上手里的蜗牛爬井谜题。模型先写出带推理过程的思考块，再给出最终答案。给最终用户看回复之前，你要把思考块去掉。

新手与专家：如果你刚接触这类模型，蒸馏的意思是较小的模型从更大模型的详细解答中学习。第一次可以运行快速上手脚本，再看答案之前的推理过程。

对熟悉这个领域的人来说，训练是在精选的教师轨迹上做的有监督、离策略训练，更新了注意力路径以及路由专家和共享专家。基础模型用 40 层，混合了线性注意力和完整注意力。模型卡报告 ARC 的提升超出噪声，MMLU 的变化在噪声以内。

Title: ARC acc_norm，基础模型与本模型对比
ARC-Challenge base: 0.548
ARC-Challenge this model: 0.591
ARC-Easy base: 0.717
ARC-Easy this model: 0.766

来自 Qwen3.8 模型的教师轨迹
有监督蒸馏到 35B MoE 学生模型
你的提示词经过聊天模板
模型先写思考块，再写答案

注意事项：这些基准使用零样本对数似然打分，基础模型和学生模型的设置相同，所以它们对长推理链说明不了多少。

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你发送的提示词和下载的模型文件
• Not for: 长文本生成时用贪心解码，模型卡说这会陷入重复循环

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：35.1B
• Weights: about 70.2 GB in BF16; about 17.6 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：4,390
• 点赞：103
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3.6-35B-A3B
• Quantized versions: 23
• Fine-tunes: 1
• 标签：transformers, safetensors, qwen3_5_moe, image-text-to-text, empero-ai, qwen3.6, qwen3.8, distillation, reasoning, function-calling, text-generation, conversational

链接

• 模型：https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill
• 文件：https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-35B-A3B-Distill

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。