Qwen3.8-27B-DFlash2

Qwen3.8-27B-DFlash2

通过起草一整块 token 让主模型验证，来加速 Qwen3.8-27B，输出保持不变。这是适用于 SGLang 和 vLLM 服务的 1.9B 草稿模型，不是独立的聊天模型。

由 incoai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.8-27B 的 DFlash 2 草稿模型。它不是你拿来聊天的语言模型。它运行在推测解码服务器里，提前提出 token，让主模型来验证，所以文字出得更快。它一次预测一整块 token，在每个位置保留排名靠前的候选，再由一个轻量的选择器挑出一条连贯的路径。

适合谁：它适合自己托管 Qwen3.8-27B、想要更快的生成又不想改变答案的团队。

行业 | 谁在用 | 怎么用 | 例子
AI 基础设施 | 部署大型模型的团队 | 把草稿模型加到 SGLang 或 vLLM 服务器上 | 启动打开 DFlash 算法的 Qwen3.8-27B 服务
编程和数学工具 | 提供代码和数学答案的团队 | 缩短长文本生成的等待时间 | 在单张 H200 上部署数学或编程助手
推理研究 | 研究推测解码的研究者 | 比较各草稿方案的接受长度和速度 | 在模型卡的任务上对比 DFlash 2 与 MTP 和 DSpark

如果你不自己运行 Qwen3.8-27B，可以略过它，因为它只能作为那个模型的助手来用。

用在哪里：

• SGLang，用 DFLASH 推测算法
• vLLM，用指明 dflash 方法的推测配置
• 一张 NVIDIA H200，模型卡的测试用的就是它
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
更快的服务 | 推理团队 | 同一个目标模型每秒输出更多 token
输出不变 | 有质量检查的团队 | 据模型卡所说，答案与普通解码相同
草稿方案对比 | 研究者 | 多种方法的接受长度和加速数据

如何设置：
你需要先准备：

• 一台能运行 Qwen3.8-27B 的 GPU 服务器
• 按模型卡说明安装的 SGLang 或 vLLM
• 如果想把文件放在本地，还需要 Hugging Face 命令行

1. 安装 SGLang 或 vLLM。模型卡从 GitHub 源码安装 SGLang，从某个特定的拉取请求构建安装 vLLM。
2. 以 Qwen3.8-27B 为主模型、以这个仓库为草稿模型启动服务。
3. 像平常一样向服务发送请求。

pip install -U huggingface_hub
hf download incoai/Qwen3.8-27B-DFlash2

如何使用：
你不需要自己调用草稿模型。你启动一个把它和主模型配对的服务，然后照常使用这个服务。SGLang 需要草稿模型路径和 8 个草稿 token，vLLM 需要一份推测配置。

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.8-27B \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path incoai/Qwen3.8-27B-DFlash2 \
  --speculative-num-draft-tokens 8

vllm serve Qwen/Qwen3.8-27B \
  --speculative-config '{
    "method": "dflash",
    "model": "incoai/Qwen3.8-27B-DFlash2",
    "num_speculative_tokens": 7
  }'

工具 | 作用
SGLang | 以这个仓库为草稿模型运行 DFLASH 算法
vLLM | 通过它的推测配置使用 dflash 方法

示例：你用这个草稿模型部署 Qwen3.8-27B，并发送一道数学应用题。答案和普通解码给出的一致，在模型卡的单请求 GSM8K 测试里，服务每秒输出 236.1 个 token，没有草稿模型时是 68.9。

新手与专家：可以把它想成一个快速的助手，一次猜出接下来的几个词，大模型一次性检查它们。第一次尝试可以启动服务，在一个问题上比较有无草稿模型的速度。

对懂行的人来说，DFlash 2 是块扩散草稿模型。它主干里的双抽头动态卷积，防止草稿质量在块的末尾衰减。模型卡说输出不变：贪心解码返回的正是主模型本来会给出的结果，采样则保持它的分布。代价是负载：并发越高，收益越小。

草稿模型一次预测一整块 token
它在每个位置保留排名靠前的候选
选择器挑出一条连贯的路径
主模型一步验证整块

注意事项：

Title: 并发 1 时 GSM8K 的输出速度
Autoregressive: 68.9 tok/s
MTP: 178.5 tok/s
DSpark: 185.3 tok/s
DFlash 2: 236.1 tok/s

Title: 接受长度，越高越好
任务 | MTP | DSpark | DFlash 2
GSM8K | 5.02 | 4.36 | 5.46
MATH-500 | 4.72 | 3.92 | 5.28
HumanEval | 3.91 | 3.30 | 4.39
MBPP | 3.99 | 3.51 | 4.79
MT-Bench | 3.74 | 3.01 | 4.10

• 体积：草稿模型有 1.9B 参数，BF16 下约 3.8 GB。
• 测试设置：在一张 NVIDIA H200 上用 SGLang 和 FlashAttention 3，块大小 8 个 token，输出上限 4096 个 token。
• 高负载：并发为 32 时，DFlash 2 的加速倍数降到 1.01 到 1.45 倍之间。
• 镜像：这个检查点在 Hugging Face 上也以 z-lab 的名字镜像了一份。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务。你需要一台 GPU 服务器。
• Data it reaches: 它从 Hugging Face 下载文件，在你自己的服务器内部运行。
• Not for: 独立使用，或者为 Qwen3.8-27B 之外的模型起草。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：1.9B
• Weights: about 3.8 GB in BF16; about 962 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：429,580
• 点赞：301
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 20
• Fine-tunes: 3
• 标签：transformers, safetensors, qwen3, dflash2, speculative-decoding, block-diffusion, draft-model, sglang, vllm, text-generation

链接

• 模型：https://huggingface.co/incoai/Qwen3.8-27B-DFlash2
• 文件：https://huggingface.co/incoai/Qwen3.8-27B-DFlash2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download incoai/Qwen3.8-27B-DFlash2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。