Qwen3.8-27B-DFlash2

Qwen3.8-27B-DFlash2

一个草稿模型，通过提出一整块词元让主模型检查，来加快 Qwen3.8-27B 的生成。不能单独使用。适合用 SGLang 或 vLLM 部署 Qwen3.8-27B 的人。

由 z-lab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.8-27B-DFlash2 是一个小型辅助模型，称为草稿器，与 Qwen/Qwen3.8-27B 配对。它本身不是语言模型。推测解码服务会把它和主模型一起加载。它猜测接下来的词元，由主模型检查。这个仓库镜像了 Inco AI 发布的副本。

适合谁：已经在部署 Qwen3.8-27B，想在不改变回答的前提下加快生成的人。

Industry | Who uses it | How they use it | Example
软件 | 推理工程师 | 降低已部署 Qwen3.8-27B 的延迟 | 回复更快的编程助手
平台 | 服务团队 | 在负载下提高每秒词元数 | 同时服务多个用户的聊天服务
研究 | 系统研究者 | 比较不同的草稿方法 | MTP、DSpark 和 DFlash 2 的对比

如果你不运行 Qwen3.8-27B，可以跳过它，因为这个草稿模型只能配合那个目标模型。

用在哪里：

• SGLang，使用 DFLASH 推测算法
• vLLM，使用 dflash 推测配置
• GPU 服务器，因为模型卡是在一块 NVIDIA H200 上测的

Use case | Who | What they get back
更快的单用户解码 | 开发者 | 比普通解码更多的每秒输出词元
更快的批量服务 | 平台团队 | 中等并发下更高的吞吐量
无损草稿 | 研究者 | 与目标模型一致的输出

如何设置：

• 能部署 Qwen/Qwen3.8-27B 的 GPU 服务器
• 按模型卡所述安装的 SGLang 或 vLLM
• 草稿模型，由服务器获取或者你自己下载

1. 用模型卡里的 pip 命令安装 SGLang 或它指定的 vLLM 版本。
2. 以 Qwen3.8-27B 作为主模型启动服务。
3. 通过推测解码选项加入 DFlash 2 草稿模型。

pip install -U huggingface_hub
hf download z-lab/Qwen3.8-27B-DFlash2

如何使用：同时用主模型和草稿模型启动服务，然后照常发送请求。模型卡给出一条 SGLang 命令和一条 vLLM 命令，并说输出是无损的。

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.8-27B \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path incoai/Qwen3.8-27B-DFlash2 \
  --speculative-num-draft-tokens 8

vllm serve Qwen/Qwen3.8-27B \
  --speculative-config '{
    "method": "dflash",
    "model": "incoai/Qwen3.8-27B-DFlash2",
    "num_speculative_tokens": 7
  }'

示例：你带着这些参数启动 SGLang 服务，像平常一样和 Qwen3.8-27B 聊天。回答和普通解码一致，模型卡报告每秒输出词元更多。

新手与专家：如果你是新手，要知道这个文件自己什么也做不了。它是在服务里和 Qwen3.8-27B 并肩工作的助手，所以先把主模型配置好。

如果你懂这个领域，DFlash 2 是块扩散草稿器。它在一次前向计算里同时提出多个词元，每个位置保留几个最优选项。然后由选择器从中串出一条路径。模型卡说贪心输出与目标模型完全一致，采样保持其分布。

草稿模型提出一块词元
选择器挑出一条连贯的路径
Qwen3.8-27B 验证这些词元
被接受的词元成为输出

Title: GSM8K 上每秒输出词元数，一次一个请求
普通解码: 68.9 tok/s
MTP: 178.5 tok/s
DSpark: 185.3 tok/s
DFlash 2: 236.1 tok/s

注意事项：

• License: Apache 2.0
• Cost to run: 你自己的 GPU 服务器，模型卡是在 NVIDIA H200 上测的
• Data it reaches: 你下载的文件和你发给自己服务器的提示词
• Not for: 单独使用，因为它只给 Qwen3.8-27B 起草词元
• Limits: 在 32 个并发请求时收益变小，模型卡里有一项任务接近 1.0

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：1.9B
• Weights: about 3.8 GB in BF16; about 962 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：46,660
• 点赞：335
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 22
• Fine-tunes: 15
• 标签：transformers, safetensors, qwen3, dflash2, speculative-decoding, block-diffusion, draft-model, sglang, vllm, text-generation

链接

• 模型：https://huggingface.co/z-lab/Qwen3.8-27B-DFlash2
• 文件：https://huggingface.co/z-lab/Qwen3.8-27B-DFlash2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download z-lab/Qwen3.8-27B-DFlash2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。