Qwen3.8-27B-DFlash2-GGUF

Qwen3.8-27B-DFlash2-GGUF

GGUF 格式的草稿模型，通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。

由 z-lab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 DFlash 2 的 GGUF 转换版本，它是 Qwen3.8-27B 的草稿模型。它不是可以直接聊天的语言模型。它在推测解码服务器里运行，提出词元，再由目标模型来验证。这个仓库是 incoai 所发布仓库的镜像。

适合谁：在自己的机器上用 llama.cpp 运行 Qwen3.8-27B、想要更快生成的人最适合它。研究推测解码的研究人员可以把它当作草稿模型来对比。

行业 | 使用者 | 使用方式 | 例子
软件 | 本地大模型用户 | 在 llama.cpp 里把草稿模型与 Qwen3.8-27B 搭配 | 同时运行目标模型和草稿模型
AI 基础设施 | 推理工程师 | 在本地服务器上测试块起草 | 在自己的提示词上检查接受长度
研究 | 解码研究人员 | 研究块扩散草稿模型 | 比较 Q4_K_M、Q8_0 和 BF16 草稿文件

如果你不运行 Qwen3.8-27B，可以跳过它，因为它只为那个目标模型起草。

用在哪里：配合带有 DFlash 2 支持的 llama.cpp 构建来使用它。

• 从模型卡提到的拉取请求构建的 llama.cpp，可选 NVIDIA CUDA 或 Apple Silicon Metal
• 像 llama-server 这样的推测解码服务器
• Windows、macOS 或 Linux，用 Python 下载

用例 | 谁用 | 得到什么
更快的本地生成 | 本地大模型用户 | 与单独用目标模型相同的文字，只是按块起草
草稿模型对比 | 研究人员 | 三种草稿文件大小的接受长度

如何设置：你需要一份 llama.cpp 代码和适合你硬件的构建。

• Git 和 CMake
• NVIDIA CUDA 或 Apple Silicon，与你选择的构建对应
• GGUF 形式的 Qwen3.8-27B 目标模型，serve 命令会替你获取
• 带 pip 的 Python，如果你想手动下载草稿文件

1. 按模型卡所示克隆 llama.cpp 仓库。
2. 在仓库里，把 27342 号拉取请求获取到一个本地分支并切换过去。
3. 用 CUDA 或 Metal 构建。

cd llama.cpp
git fetch origin pull/27342/head:pr-27342
git switch pr-27342

# NVIDIA CUDA
cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON
cmake --build build -j

# Apple Silicon
cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_METAL=ON
cmake --build build -j

pip install -U huggingface_hub
hf download z-lab/Qwen3.8-27B-DFlash2-GGUF

如何使用：用目标模型和草稿模型启动 llama-server，然后照常使用这个服务器。下面的命令搭配的是 Q4_K_M 文件。

./build/bin/llama-server \
  -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \
  -hfd incoai/Qwen3.8-27B-DFlash2-GGUF:Q4_K_M \
  --spec-type draft-dflash \
  --spec-draft-n-max 7

Tool | What it does
-hf | 指定写出最终文字的目标模型
-hfd | 指定提出词元的草稿模型
--spec-type draft-dflash | 打开 DFlash 起草方法
--spec-draft-n-max 7 | 把草稿长度上限设为 7 个词元

草稿文件 | 大小
Q4_K_M | 1.1 GB
Q8_0 | 2.0 GB
BF16 | 3.8 GB

示例：你运行上面的命令，并向服务器发送一条聊天请求。草稿模型每次最多提出 7 个词元，Qwen3.8-27B 在它们进入你的回复之前先检查一遍。

新手与专家：这个文件是个帮手，不是聊天模型。它通过提前猜测，让更大的模型回答得更快。第一次可以试试上面命令里的 Q4_K_M 搭配。

DFlash 2 一次预测整块词元，并在每个位置保留排名靠前的候选。随后一个轻量的选择器沿着它们找出一条连贯的路径，两抽头动态卷积让草稿在块的末尾不会衰减。模型卡说，贪心解码得到的文字与单独用目标模型相同，采样则保持目标模型的分布。

草稿模型一次预测一整块
选择器挑出一条连贯的路径
Qwen3.8-27B 验证提出的词元
被接受的词元加入回复

注意事项：模型卡测量的是接受长度，即完成词元数除以验证步数的平均值，越高越好。

Title: 各草稿文件的接受长度
BF16: 5.28 tokens per step
Q8_0: 5.13 tokens per step
Q4_K_M: 5.39 tokens per step

• Test size: 检查用的是 GSM8K 测试集的前八个例子，最多生成 2048 个新词元
• Sampling: 温度 1.0、top-p 0.95、top-k 20，推理强度为 xhigh
• Build: 它需要用拉取请求构建的 llama.cpp，而不是普通发布版
• Versions: 其他人发布了 1 个量化版本
• License: Apache 2.0
• Cost to run: 未提到费用
• Data it reaches: 你的提示词、目标模型文件和来自 Hugging Face 的草稿文件。模型卡没有提到账号或网络服务
• Not for: 单独聊天，或 Qwen3.8-27B 之外的任何目标模型

Hugging Face 上的数据（2026年11月14日）

• 任务：text generation
• 框架：llama.cpp
• 参数量：1.9B
• Weights: about 962 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：506,737
• 点赞：162
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 1
• 标签：llama.cpp, gguf, dflash2, speculative-decoding, draft-model, text-generation, conversational

链接

• 模型：https://huggingface.co/z-lab/Qwen3.8-27B-DFlash2-GGUF
• 文件：https://huggingface.co/z-lab/Qwen3.8-27B-DFlash2-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download z-lab/Qwen3.8-27B-DFlash2-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。