Qwen3.8-Flash-Next-DFlash2-GGUF

Qwen3.8-Flash-Next-DFlash2-GGUF

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

由 nazeshinjite 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 DFlash 2 的 GGUF 转换版本，DFlash 2 是 Qwen3.8-Flash-Next 的一个小型草稿模型。它不是独立的语言模型。它提前提出一批词，由主模型 Qwen3.8-Flash-Next 来检查，从而在 llama.cpp 里加快生成速度。这种检查是无损的，所以贪心输出与主模型完全一致。它有 603M 参数。

适合谁：如果你已经在用 llama.cpp 运行 Qwen3.8-Flash-Next，想在不改变答案的前提下加快解码，它适合你。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 用 llama.cpp 的 Mac 用户 | 加上草稿模型来加快解码 | 在 Apple M5 Max 上，列表和代码提示词解码更快
软件 | 开发者 | 用 llama-server 提供本地模型 | 用一个目标文件和草稿文件启动服务器
研究 | 推理研究人员 | 研究块扩散式草稿 | 与模型自带的草稿头做比较

如果你不运行 Qwen3.8-Flash-Next，可以跳过它，因为这个草稿模型只配合那个目标模型使用。

用在哪里：它在 llama.cpp 里通过 llama-server 程序工作，需要 0.8.0 或更新版本的构建。模型卡是在带 Metal 的 Apple M5 Max 上测量的。

• llama.cpp，0.8.0 或更新版本
• 一个 Qwen3.8-Flash-Next GGUF 文件作为主模型
• 装有 huggingface_hub 包的 Windows、macOS 或 Linux，用于下载

使用场景 | 谁用 | 得到什么
更快的代码回答 | 开发者 | 每秒 95.1 个令牌，而模型自带草稿头为 80.5
更快的列表回答 | 本地用户 | 每秒 127.0 个令牌，而对比值为 91.4
图像提示词 | 本地用户 | 加上视觉文件后，草稿仍然继续工作

如何设置：你需要 0.8.0 或更新版本的 llama.cpp、一个作为主模型的 Qwen3.8-Flash-Next GGUF，以及这个草稿文件。模型卡说更早的构建会在第一次请求时中止。

• llama.cpp，0.8.0 或更新版本
• 一个 Qwen3.8-Flash-Next GGUF 主模型
• Python 和 Hugging Face hub 包，用于下载

1. 安装 Hugging Face hub 包。
2. 下载草稿文件。
3. 用主模型和草稿模型启动 llama-server。

pip install -U huggingface_hub
hf download nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF

如何使用：用主模型和草稿模型启动 llama-server，并开启 DFlash 草稿。模型卡推荐草稿长度为 5，概率下限为 0.75。处理图像提示词时，再加上视觉文件选项。

llama-server \
  -m Qwen3.8-Flash-Next-UD-Q5_K_XL-00001-of-00006.gguf \
  -md Qwen3.8-Flash-Next-DFlash2-Q4_0.gguf \
  --spec-type draft-dflash --spec-draft-n-max 5 --spec-draft-p-min 0.75 \
  -c 131072 -np 1 -ub 1024 -ngl 99 -fa on \
  --jinja --reasoning-format deepseek \
  --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0

Tool | What it does
-m | 指定主模型文件
-md | 指定草稿模型文件
--spec-type draft-dflash | 开启 DFlash 草稿
--spec-draft-n-max and --spec-draft-p-min | 设置推荐的草稿长度 5 和下限 0.75
Q4_0 file, 334 MiB | 推荐使用的草稿模型
Q8_0 file, 622 MiB | 较大的草稿模型，接受率和速度与前者相同

示例：你用 Q5 主模型和 Q4_0 草稿模型启动 llama-server，然后让它写代码。模型卡在 Apple M5 Max 上的测试显示，代码解码为每秒 95.1 个令牌，而用自带草稿头是 80.5。它写出的文本与只用主模型时一致。

新手与专家：如果你刚接触，可以想象一个快手助手在猜后面的词，而主模型负责检查。第一件小事是用模型卡的命令启动 llama-server，然后要一段代码或一个列表，模型卡显示这两类提示词提升最大。

如果你熟悉这个领域，DFlash 2 是一个块扩散式草稿模型，有 5 层，块大小为 8。它一次提出整块词，在每个位置保留排名靠前的候选，再由一个小选择器挑出一条连贯的路径。它在磁盘上比 MTP 头小约 6 倍，但因为有 2.9 GiB 的计算缓冲区，运行时的内存成本大致相同。

草稿模型提出一块词
选择器挑出一条连贯路径
主模型检查整条路径
被接受的词原样保留
输出与主模型一致

注意事项：在散文提示词上，模型卡显示有小幅变慢，每秒 51.9 个令牌，对比 53.8。草稿长度和概率下限在服务器启动时固定，所以改动它们需要重启。

Title: 每秒解码令牌数，MTP 头对比 DFlash 2
Code with MTP head: 80.5 t/s
Code with DFlash 2: 95.1 t/s
List with MTP head: 91.4 t/s
List with DFlash 2: 127.0 t/s
Geomean with MTP head: 75.1 t/s
Geomean with DFlash 2: 87.9 t/s

• License: Apache-2.0
• Cost to run: 没有提到任何 API 密钥或付费服务，草稿文件为 334 MiB 和 622 MiB
• Data it reaches: 下载来自 Hugging Face，模型在你自己的机器上处理你的提示词
• Not for: 独立使用，或早于 0.8.0 版本的 llama.cpp 构建

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：603M
• Weights: about 302 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：3,960
• 点赞：4
• 许可证：apache-2.0
• 基于：incoai/Qwen3.8-Flash-Next-DFlash2
• 标签：gguf, dflash2, speculative-decoding, block-diffusion, draft-model, llama.cpp, text-generation, conversational

链接

• 模型：https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF
• 文件：https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。