DSpine

DSpine

为 Qwen3-8B 的推测解码一次起草多个词元，让模型服务器一次检查它们。适合推理工程师和推测解码研究人员。

由 tencent 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：DSpine 是为 Qwen3-8B 的推测解码准备的草稿模型。草稿模型先猜出接下来的几个词元，主模型再一起检查它们。DSpine 并行起草每个位置，同时在每个草稿层里，每个位置仍会收到前一个位置的预测特征。

适合谁：自己运行 Qwen3-8B 服务器、想试试并行起草的工程师最适合它。按接受长度比较草稿模型的研究人员也可以用。

行业 | 使用者 | 使用方式 | 例子
AI 基础设施 | 推理工程师 | 用并行草稿模型来运行 Qwen3-8B | 用自己的模型路径运行模型卡里的服务命令
研究 | 推测解码研究人员 | 按接受长度比较草稿模型 | 把 DSpine 与 DFlash、Domino、DSpark 和 DFlash2 对比
平台团队 | 机器学习平台工程师 | 测试起草能否帮到自己的服务 | 沿用论文所报告结果背后的服务器设置

如果你不运行自己的模型服务器，或者用的目标模型不是 Qwen3-8B，可以跳过它。

用在哪里：它在 SGLang 服务器里运行。

• SGLang，通过它的 serve 命令和 DSPINE 算法
• 支持 fa3 注意力后端和 CUDA graphs 的服务器
• Windows、macOS 或 Linux，用 Python 下载

用例 | 谁用 | 得到什么
并行起草 | 推理工程师 | 供 Qwen3-8B 主模型一次检查的草稿词元
基准测试 | 研究人员 | 数学、代码和对话数据集上的接受长度，可与其他草稿模型对比
服务器调优 | 平台团队 | 一套经过测试的服务器参数，可以作为起点

如何设置：你需要 Python、SGLang、Qwen3-8B 目标模型和 DSpine 文件。

• 带 pip 的 Python
• SGLang，因为 serve 命令来自它
• Qwen3-8B 目标模型
• 放 DSpine 权重的空间，BF16 约 2.5 GB，4-bit 约 619 MB，均为估算

1. 安装 Hugging Face hub 包并下载 DSpine 文件。
2. 克隆模型卡里提到的项目代码仓库。
3. 在项目文件夹里以可编辑模式安装它。

pip install -U huggingface_hub
hf download tencent/Qwen3-8B-DSpine-b16

cd dspine
pip install -e .

如何使用：启动 SGLang 服务器，把 Qwen3-8B 作为目标模型，把你的 DSpine 文件夹作为草稿模型。模型卡说这些设置就是论文所报告的接受长度和吞吐量背后用的设置。

sglang serve \
  --model-path Qwen/Qwen3-8B \
  --speculative-algorithm DSPINE \
  --speculative-draft-model-path <dspine-model-path> \
  --speculative-num-draft-tokens 16 \
  --dtype bfloat16 \
  --attention-backend fa3 \
  --page-size 1 \
  --mem-fraction-static 0.65 \
  --context-length 8192 \
  --max-running-requests 64 \
  --cuda-graph-bs-decode 1 2 4 8 16 32 64 \
  --trust-remote-code

Tool | What it does
--speculative-algorithm DSPINE | 选择 DSpine 作为起草方法
--speculative-draft-model-path | 指向存放你的 DSpine 文件的文件夹
--speculative-num-draft-tokens 16 | 把草稿词元数设为 16
--context-length 8192 | 把上下文长度设为 8192
--max-running-requests 64 | 把同时运行的请求数上限设为 64

示例：你把占位符换成存放已下载 DSpine 文件的文件夹，然后运行这条命令。服务器会启动 Qwen3-8B，用 DSpine 做草稿模型，草稿词元数为 16，沿用论文结果背后的设置。

新手与专家：推测解码可以加快文字生成。一个小的草稿模型先猜出后面的几个词元，大模型一次检查它们。第一次可以先下载 DSpine 文件，在运行任何东西之前读一读上面的服务设置。

DSpine 的不同之处在于它的起草方式。它同时填好每一个草稿位置。在草稿模型内部，每一层都把为前一个位置预测出的特征交给当前位置，所以文字的先后顺序是沿着深度而不是沿着时间来体现的。模型卡只报告了 Qwen3-8B 的结果，它的训练代码还在路线图上。

目标模型收到提示词
DSpine 并行起草所有位置
每一层把特征传给下一个位置
目标模型检查草稿
被接受的词元加入回复

注意事项：模型卡比较了 Qwen3-8B 上的平均接受长度。DSpine、DSpark 和 DFlash2 都在 Open-PerfectBlend 上用相同配置重新训练，而 DFlash 和 Domino 用的是它们的官方检查点。

Title: 温度为 0 时的平均接受长度
DFlash: 5.92
Domino: 7.05
DSpark: 7.44
DFlash2: 7.55
DSpine: 7.83

Title: 温度为 1 时的平均接受长度
DFlash: 4.94
Domino: 5.59
DSpark: 6.65
DFlash2: 6.53
DSpine: 6.98

• Roadmap: DSpine 的训练代码和 Qwen3.8-27B 版本仍在计划中
• Remote code: serve 命令带有 trust-remote-code，所以只对你信任的文件运行它
• License: Apache 2.0
• Cost to run: 未提到费用
• Data it reaches: 你的提示词、Qwen3-8B 目标模型和 DSpine 文件。模型卡没有提到账号或网络服务
• Not for: 暂时不适用于其他目标模型，因为目前只覆盖 Qwen3-8B，Qwen3.8-27B 版本只是计划

Hugging Face 上的数据（2026年11月13日）

• 参数量：1.2B
• Weights: about 2.5 GB in BF16; about 619 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,280
• 点赞：30
• 许可证：apache-2.0
• 标签：safetensors, qwen3

链接

• 模型：https://huggingface.co/tencent/Qwen3-8B-DSpine-b16
• 文件：https://huggingface.co/tencent/Qwen3-8B-DSpine-b16/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download tencent/Qwen3-8B-DSpine-b16

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。