Qwen3.8-27B-DSpine-b16-GGUF

Qwen3.8-27B-DSpine-b16-GGUF

一个 GGUF 草稿模型，通过推测解码在 llama.cpp 里加速 Qwen3.8-27B，在一块 RTX 3090 上处理代码和数学时约每秒 125 个 token，适合在本地运行 Qwen3.8-27B 的人。

由 aj9o9 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 DSpine 的 GGUF 转换版本，DSpine 是一个草稿模型，通过 llama.cpp 里的推测解码来加速 Qwen3.8-27B。一个小的草稿模型先提出 token，大模型再来检查。在一块 RTX 3090 上配 Q4_K_M 目标模型，模型卡报告处理代码和数学时约每秒 125 个 token。

适合谁：它适合在自己的 NVIDIA GPU 上运行 Qwen3.8-27B，并想要更快文本生成，尤其是代码生成的人。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 加速本地编程模型 | 更早返回的代码补全
本地 AI | 有 24 GB GPU 的爱好者 | 用同一张卡得到更多 token 每秒 | 在 RTX 3090 上更快的聊天
人工智能研究 | 推理研究人员 | 研究推测解码的草稿模型 | 在同一个目标模型上对比 DSpine 和 DFlash2
基础设施 | 机器学习工程师 | 针对给定 GPU 调整草稿长度 | 在小批量很慢的显卡上测试更短的草稿

如果你需要不带自定义构建的标准 llama.cpp，可以跳过它，因为上游还不支持 DSpine。

用在哪里：

• 模型卡里指明的 llama.cpp 分支仓库的 dspine 分支，用 CUDA 构建
• 像 RTX 3090 这样的 GPU，有 24 GB 显存
• 能用 cmake 构建 llama.cpp 的机器

Use case | Who | What they get back
更快的代码生成 | 开发者 | 按模型卡的测试，代码和数学约每秒 125 个 token
更快的聊天 | 本地 AI 用户 | 混合聊天任务上约每秒 90 个 token
在其他 GPU 上调优 | 研究人员 | 模型卡里列出的 AMD、Intel 和 DGX Spark 的社区结果

如何设置：

你需要先准备：

• 一个 Qwen3.8-27B 目标 GGUF，比如 Q4_K_M，因为这些文件只包含草稿模型
• 一块 NVIDIA GPU，因为构建命令打开了 CUDA
• Git、cmake 和 C++ 编译器
• Python，用来运行 Hugging Face 下载命令

1. 用 hub 工具下载草稿模型文件。
2. 获取一个 Qwen3.8-27B 目标 GGUF。
3. 克隆模型卡指明的分支仓库的 dspine 分支，然后用下面的命令构建。
4. 用下一节的运行命令启动服务。

pip install -U huggingface_hub
hf download aj9o9/Qwen3.8-27B-DSpine-b16-GGUF

cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j

如何使用：用你的目标模型和草稿模型启动 llama-server，然后和它聊天。请自己设置草稿长度和上下文大小，而不是用默认值。

./build/bin/llama-server \
  -m  Qwen3.8-27B-Q4_K_M.gguf \
  -md Qwen3.8-27B-DSpine-b16-Q4_K_M.gguf \
  --spec-type draft-dflash \
  --spec-draft-n-max 15 \
  -ngl 999 --spec-draft-ngl 999 \
  -fa on --jinja -c 32768 -np 1 \
  --cache-type-k q8_0 --cache-type-v q8_0 \
  --spec-draft-type-k q8_0 --spec-draft-type-v q8_0

Tool | What it does
-m | 加载 Qwen3.8-27B 目标模型
-md | 加载 DSpine 草稿模型
--spec-draft-n-max | 设置草稿 token 数，15 在 NVIDIA CUDA 上最好，默认是 3
-c | 设置上下文大小，你应该自己选择
--spec-draft-sampling probabilistic | 可选，温度大于 0 时略有帮助

示例：你用上面的命令启动服务，请它写一个合并两个有序列表的 Python 函数。目标模型检查每一块草稿 token，所以答案比没有草稿模型时来得更快，而保留什么仍由目标模型决定。

新手与专家：推测解码让一个小模型先往前猜，大模型就能一次检查很多 token。第一步可以用推荐的 Q4_K_M 文件和上面的设置试一下。

DSpine 用一个五层草稿器扩展了 DFlash。它读取目标模型五层的隐藏状态，并行起草一块 16 个 token。它增加了因果块注意力、每层之后的代码桥，以及一个构建 16 乘 16 转移表的细化步骤。

草稿模型读取目标模型的隐藏状态
它起草一块 16 个 token
目标模型检查这一块
被接受的 token 被保留

注意事项：速度取决于你的 GPU，下面的数字来自一块 RTX 3090。

Title: 一块 RTX 3090 上的解码速度，单位 token 每秒
不用推测解码: 28 tok/s
DFlash2: 52 tok/s
DSpine 混合聊天: 90 tok/s
DSpine 代码和数学: 125 tok/s

• 自定义构建: 标准 llama.cpp 会拒绝加载这些文件，所以你需要分支仓库的 dspine 分支
• 文件: 推荐 1.26 GB 的 Q4_K_M，2.20 GB 的 Q8_0 稍慢，4.06 GB 的 BF16 用于重新量化
• 24 GB 上的上下文: 起草 15 个 token 时，最多可到 65536 的上下文，起草 7 个时最多可到 98304
• 其他 GPU: 在小批量很慢的显卡上，15 个 token 的草稿可能得不偿失
• License: Apache 2.0
• Cost to run: 未提及，GPU 由你自己提供
• Data it reaches: 你发给自己本地服务的提示词

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：2B
• Weights: about 1 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：15,022
• 点赞：41
• 许可证：apache-2.0
• 基于：tencent/Qwen3.8-27B-DSpine-b16
• 标签：gguf, llama.cpp, dspine, dflash, speculative-decoding, draft-model, qwen3.8, text-generation, conversational

链接

• 模型：https://huggingface.co/aj9o9/Qwen3.8-27B-DSpine-b16-GGUF
• 文件：https://huggingface.co/aj9o9/Qwen3.8-27B-DSpine-b16-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download aj9o9/Qwen3.8-27B-DSpine-b16-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。