DSpine for Qwen3.8-27B

DSpine for Qwen3.8-27B

五层草稿模型，为 Qwen3.8-27B 并行猜测 16 个 token，再由大模型一并检查。适合部署该模型的团队。

由 tencent 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：DSpine for Qwen3.8-27B 是 tencent 推出的小型草稿模型，用来加快大模型写文本的速度。它并行猜测接下来的 16 个 token，再由 Qwen3.8-27B 检查这些猜测。这个检查点有五层，滑动窗口为 8,192 个 token。

适合谁：适合部署 Qwen3.8-27B、关心大模型接受多少草稿 token 的团队，也适合研究并行起草的研究人员。

行业 | 谁在用 | 怎么用 | 例子
AI 基础设施 | 托管 Qwen3.8-27B 的团队 | 把它作为草稿模型放在大模型旁边 | 用 SGLang 0.5.22 测试过的服务栈
研究 | 研究推测解码的人 | 对比分块起草与 DFlash2 基线 | 温度 0 和温度 1 下的 GSM8K 测试
编程智能体 | 代码智能体的开发者 | 为很长的智能体轨迹起草 token | SWE-bench Pro 和 WorkBuddy Code 回放
办公自动化 | 办公智能体的开发者 | 为文档和办公任务起草 token | WorkBuddy Office 回放

如果你不运行 Qwen3.8-27B，可以跳过它，因为这个草稿模型只为那一个目标模型而做。

用在哪里：它在模型服务器里和 Qwen3.8-27B 一起运行。

• SGLang：作者测试所用的运行时，版本 0.5.22，搭配 FlashAttention 3
• Qwen3.8-27B 的服务环境，因为草稿模型就是为它做的
• WorkBuddy、SWE-bench Pro 和 τ²-bench 等智能体与编程任务，作者对它们做过回放

使用场景 | 谁用 | 得到什么
数学和代码生成 | 部署大模型的团队 | 更长的被接受草稿，例如 GSM8K 上 7.20，DFlash2 为 5.69
智能体会话 | 智能体平台开发者 | 在 WorkBuddy、SWE-bench Pro 和 τ²-bench 上更长的被接受草稿
聊天 | 部署通用助手的团队 | MT-Bench 上更长的被接受草稿，4.48 对 4.11

如何设置：你需要在支持作者配置的服务器里，把这个检查点和它的目标模型配对。

你需要：

• 这个检查点所服务的 Qwen3.8-27B 模型
• 一个 SGLang 服务器，作者在 0.5.22 版本上测试过
• BF16 权重和 FlashAttention 3
• 动态验证和 ReplaySSM，作者的运行中都已启用

1. 获取 Qwen3.8-27B，这个检查点就是为它起草的。
2. 下载这个 DSpine 检查点，它的块大小为 16。
3. 用 BF16 和 FlashAttention 3 启动 SGLang，这是作者测量时的配置。
4. 像他们的 DSpine 运行那样，打开动态验证和 ReplaySSM。DSpine 的 GitHub 项目是它的代码所在。

如何使用：你不需要自己给这个模型写提示词。它在服务器内部，Qwen3.8-27B 回答你的请求时由它起草 token。作者在温度采样的测试中用了这些设置：

temperature=1.0
top_p=0.95
top_k=20

工具 | 作用
SGLang | 作者测试所用的运行时
DSpark | 与 DSpine 一起使用的动态验证的参考
ReplaySSM | 在 DSpine 运行期间启用
DFlash2 | 官方的块大小为 8 的草稿模型，是 DSpine 的对比对象

示例：把一道 GSM8K 那样的数学题交给使用这个草稿模型的 Qwen3.8-27B 服务器。在贪心解码下，作者测得的接受长度是 7.20，而 DFlash2 为 5.69。

新手与专家：大模型一次只写一个 token，所以很慢。草稿模型会提前猜好几个 token，大模型再把它们放在一起检查。接受长度就是它保留了多少个草稿 token。想试一试的话，在你自己的服务器上用同样的提示词，对比开和关草稿模型的结果。

从底层看，每一层都把它为前面 token 预测的特征交给旁边的位置。这样，token 之间的因果关系就沿着网络深度传递，一整块 16 个 token 可以一次起草。代价是这些数字只来自一种运行时和 8 的并发。

草稿模型读取已有上下文
它并行起草一块 16 个 token
Qwen3.8-27B 检查草稿 token
被接受的 token 保留下来
从最后一个保留的 token 重新起草

注意事项：

• 它只能作为 Qwen3.8-27B 的草稿模型使用
• 五层，块大小 16，滑动窗口 8,192 个 token
• 测试用的是 SGLang 0.5.22、BF16、FlashAttention 3 和并发 8
• 通用基准在 xhigh 推理下运行，最多生成 4,096 个新 token
• 在 low 推理下，WorkBuddy Code 的接受长度从 4.19 升到 5.08
• 许可证：Apache 2.0

Title: 温度 0 下的接受长度
GSM8K DFlash2: 5.69
GSM8K DSpine: 7.20
MATH-500 DFlash2: 5.49
MATH-500 DSpine: 6.49
HumanEval DFlash2: 4.87
HumanEval DSpine: 5.71
MBPP DFlash2: 5.04
MBPP DSpine: 6.14

Hugging Face 上的数据（2026年11月10日）

• 任务：text generation
• 参数量：2B
• Weights: about 4.1 GB in BF16; about 1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,464
• 点赞：151
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 4
• Fine-tunes: 1
• 标签：safetensors, qwen3, dspine, speculative-decoding, draft-model, sglang, text-generation

链接

• 模型：https://huggingface.co/tencent/Qwen3.8-27B-DSpine-b16
• 文件：https://huggingface.co/tencent/Qwen3.8-27B-DSpine-b16/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download tencent/Qwen3.8-27B-DSpine-b16

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。