Qwen3.8-Flash-Next-DFlash2

Qwen3.8-Flash-Next-DFlash2

一次起草多个 token 让主模型去核对，以此加快 Qwen3.8-Flash-Next，适合用 SGLang 部署该模型、想更快出结果又不改动它的工程师。

由 incoai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 DFlash 2，一个配合 Qwen/Qwen3.8-Flash-Next 做推测解码的小型草稿模型。它自己不能回答提示词。在部署环境里，它负责提前猜出后面的 token，由主模型来核对。输出与主模型完全一致，所以你得到的是更快的速度，答案不变。

适合谁：如果你自己托管 Qwen3.8-Flash-Next，想在同样的硬件上获得更高吞吐，它适合你。

Title: Who uses this model
行业 | 谁在用 | 怎么用 | 例子
AI 基础设施 | 推理工程师 | 给 SGLang 服务器加一个草稿模型 | 同时用两个模型启动服务器并对比速度
软件 | 自己托管模型的团队 | 缩短聊天回复所需的时间 | 让编程助手为多个用户更快地提供服务
研究 | 机器学习研究人员 | 研究块扩散起草 | 把接受长度和内置 MTP 起草器做对比

如果你不自己部署 Qwen3.8-Flash-Next，可以跳过它，因为没有那个模型它什么也做不了。

用在哪里：

• SGLang，作为推测解码服务器
• 带 NVIDIA GPU 的机器，模型卡测试用的是一块 GB300
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Title: Jobs it does
用途 | 适合谁 | 得到什么
更快的回复 | 部署该模型的团队 | 每秒输出的 token 比普通解码更多
更高吞吐 | 运维人员 | 同时处理 1、8 或 32 个请求时速度更好
研究实验 | 研究人员 | 用来比较起草器的接受长度

如何设置：你需要一个能用的 SGLang 安装环境和主模型。

• 带 pip 的 Python、git 和 hf 命令
• 一块 NVIDIA GPU
• 目标模型 Qwen/Qwen3.8-Flash-Next-FP8

1. 从项目主页克隆 SGLang 仓库。
2. 进入该文件夹，检出模型卡指定的提交。
3. 应用本仓库里的小型捕获补丁，在上游支持之前 Flash-Next 需要它。
4. 用 pip 安装 SGLang。
5. 用目标模型和这个草稿模型启动服务器。

cd sglang
git checkout 3c560089e1818a5217a73f2168273485a5350341
git apply "$(hf download incoai/Qwen3.8-Flash-Next-DFlash2 \
  patches/qwen38-dflash2-capture.patch --quiet)"
pip install -e "python[all]"

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.8-Flash-Next-FP8 \
  --linear-attn-verify-backend triton \
  --mamba-ssm-dtype bfloat16 \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path incoai/Qwen3.8-Flash-Next-DFlash2 \
  --speculative-draft-model-quantization unquant \
  --speculative-num-draft-tokens 4

如何使用：服务器运行后，你像对任何 SGLang 服务器一样向它发送请求。草稿模型在后台工作，你不用直接调用它。

Title: Main commands
工具 | 作用
hf download | 从本仓库获取捕获补丁
git apply | 把补丁应用到你的 SGLang 检出目录
sglang.launch_server | 用主模型和这个起草器启动服务器

示例：你用 Qwen3.8-Flash-Next-FP8 作为目标模型、DFlash 2 作为起草器启动服务器，然后发送一道数学题。回复比普通解码返回得更快，而且答案和只用目标模型时一样。

新手与专家：推测解码就像一个快手打字员加一个细心的编辑。小模型猜出几个词，大模型再批准或修正。这个仓库就是那个快手打字员，所以你先从上面的服务器命令开始。

DFlash 2 是块扩散起草器。它一次预测一个 token 块，并在每个位置保留排名靠前的候选，然后一个轻量选择器在其中描出一条连贯的路径。主干里的双抽头动态卷积让草稿质量不会在块的末尾下滑。解码是无损的：贪心输出与目标模型一致，采样也保持它的分布。块大小为 4，受当前 QSA 实现限制。

起草器预测一块 token
选择器挑出一条连贯路径
目标模型核对草稿
被接受的 token 成为输出

注意事项：模型卡在一块 NVIDIA GB300 上用 FP8 目标模型做了测试。在并发为 1 的 GSM8K 上，DFlash 2 每个验证步骤平均接受 3.26 个 token，MTP 是 3.08。其他人发布了 5 个量化版本和 1 个微调版本。

Title: GSM8K output speed at concurrency 1
自回归: 205.4 tok/s
MTP: 326.0 tok/s
DFlash 2: 368.2 tok/s

• License: Apache 2.0。
• Cost to run: 未提及，除了需要一块 NVIDIA GPU。
• Data it reaches: 它从 Hugging Face 下载文件，SGLang 的源码来自它自己的项目主页。
• Not for: 单独使用，因为它只为 Qwen/Qwen3.8-Flash-Next 起草 token。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：603M
• Weights: about 1.2 GB in BF16; about 302 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：58,226
• 点赞：84
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-Flash-Next
• Quantized versions: 5
• Fine-tunes: 1
• 标签：transformers, safetensors, qwen3, dflash2, speculative-decoding, block-diffusion, draft-model, sglang, text-generation

链接

• 模型：https://huggingface.co/incoai/Qwen3.8-Flash-Next-DFlash2
• 文件：https://huggingface.co/incoai/Qwen3.8-Flash-Next-DFlash2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download incoai/Qwen3.8-Flash-Next-DFlash2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。