Spark-X2.6-1.7B-DSpark-GGUF

Spark-X2.6-1.7B-DSpark-GGUF

一个小型草稿模型，通过推测解码加速 Spark-X2.6-1.7B，每步最多猜 7 个 token。适合在支持它的 llama.cpp 构建上本地运行该模型的人。

由 XHToken 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个 BF16 GGUF 格式的小型草稿模型，用来通过推测解码加速 Spark-X2.6-1.7B。小模型一次最多猜 7 个 token，主模型再一起检查这些猜测。这样主模型要做的逐个步骤就更少了。主模型可以是 BF16，也可以是量化的 GGUF。

适合谁：已经在本地运行 Spark-X2.6-1.7B、想要更快回复的人，以及研究推测解码的研究者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 有本地模型的开发者 | 在服务器里把草稿模型和主模型配对 | 提供更快的本地聊天接口
本地 AI | 有 NVIDIA GPU 的爱好者 | 在一块显卡上提高每秒 token 数 | 以更高速度运行数学或编程提示词
研究 | 推理研究者 | 研究草稿 token 被接受的数量 | 比较思考和非思考模式下的接受情况

如果你不运行 Spark-X2.6-1.7B，可以跳过它，因为草稿只对那一个主模型有帮助。

用在哪里：

• XHToken 的 llama.cpp 分支，提供兼容 OpenAI 的聊天 API
• 任何能调用兼容 OpenAI 的聊天接口的工具
• 带 Bash 命令行和 NVIDIA GPU 的 Linux，这是模型卡命令所针对的环境

用途 | 适合谁 | 得到什么
更快的本地聊天 | 应用开发者 | 同样风格的回复，主模型步骤更少
基准测试 | 研究者 | 有无草稿时的接受长度和每秒 token 数
端侧智能体 | 小型智能体的构建者 | 1.7B 模型更快的生成

如何设置：你需要 llama.cpp 的分支、带 CUDA 的构建、主模型文件和这个草稿文件。模型卡称主线 llama.cpp 的支持仍在进行中。示例步骤假定使用带 NVIDIA 显卡的 Linux 机器。

• Git、CMake 和 CUDA 工具链
• 一块 NVIDIA GPU
• Python 和 pip，用来下载文件
• 主模型 Spark-X2.6-1.7B-GGUF，以及这个草稿

1. 克隆 XHToken 的 llama.cpp 分支并进入文件夹。
2. 用下面的命令在开启 CUDA 的情况下构建 llama-server。
3. 把两个模型文件下载到 models 文件夹。

cd llama.cpp
cmake -S . -B build-cuda -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON
cmake --build build-cuda --target llama-server -j8

如果想自己获取这个仓库的文件，Hugging Face 给出这些步骤：

pip install -U huggingface_hub
hf download XHToken/Spark-X2.6-1.7B-DSpark-GGUF

如何使用：用主模型和这个草稿启动 llama-server，然后向它在 8080 端口上兼容 OpenAI 的路由发送聊天请求。模型卡在命令里把文件命名为 Spark-target.gguf 和 Spark-draft.gguf。

set -o pipefail
./build-cuda/bin/llama-server \
  -m models/Spark-target.gguf \
  -md models/Spark-draft.gguf \
  --alias spark-dspark \
  --spec-type draft-dspark \
  --spec-draft-sampling greedy \
  --spec-draft-n-max 7 \
  --spec-draft-p-min 0 \
  -ngl 999 -ngld 999 \
  -ctk f16 -ctv f16 \
  -ctkd f16 -ctvd f16 \
  -fa on \
  -c 8192 -np 1 \
  -b 2048 -ub 512 -t 8 \
  --jinja \
  --host 127.0.0.1 --port 8080 \
  2>&1 | tee dspark-server.log

选项 | 作用
-m | 加载主模型 Spark-X2.6-1.7B
-md | 加载这个草稿模型
--spec-type draft-dspark | 打开 DSpark 起草
--spec-draft-n-max 7 | 让草稿每次最多提议 7 个 token
--alias spark-dspark | 设置请求所用的模型名

示例：服务器运行后，你发送一条聊天请求，模型名是 spark-dspark，用户消息是“你好”。你设置 temperature 1.0、top_p 0.95 和 max_tokens 512，并关闭流式输出。服务器返回一条正常的聊天补全。模型卡没有给出示例回复。

新手与专家：如果你是新手，请记住这个文件只是个辅助，自己不能聊天。只在 Spark 主模型旁边运行它，先从上面那一条服务器命令开始。

对专家来说，草稿有 5 个滑动窗口层，窗口为 512 个 token，隐藏层大小是 2048。它读取目标模型第 2、8、14、19 和 25 层的隐藏状态，每次前向传播起草 7 个 token。接受长度包含一个额外的目标 token，所以最大值是 8。主模型被量化后，加速幅度会变小。

提示词到达服务器
草稿模型猜最多 7 个 token
主模型一起检查
返回被接受的 token

注意事项：

Title: 模型卡自测的 RTX 4090 平均每秒 token 数
BF16 alone: 220 tok/s
BF16 with DSpark: 463 tok/s
Q4_K_M alone: 424 tok/s
Q4_K_M with DSpark: 650 tok/s

• Results: 提速数据来自模型作者在 RTX 4090（llama.cpp）和 Apple M5 Pro（MLX）上的自测
• Throughput: 在 RTX 4090 上用 BF16 主模型时，平均值从每秒 220 个 token 提高到 463 个
• Languages: 英文和中文
• Draft size: 345M 参数
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: 从 Hugging Face 和 llama.cpp 分支下载文件，示例服务器只监听 127.0.0.1
• Not for: 单独使用，或搭配 Spark-X2.6-1.7B 以外的主模型

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：345M
• Weights: about 173 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：969
• 点赞：10
• 许可证：apache-2.0
• 语言：en, zh
• 基于：XHToken/Spark-X2.6-1.7B
• 标签：gguf, sparkx2_6, dspark, speculative-decoding, draft-model, llama-cpp, text-generation, conversational

链接

• 模型：https://huggingface.co/XHToken/Spark-X2.6-1.7B-DSpark-GGUF
• 文件：https://huggingface.co/XHToken/Spark-X2.6-1.7B-DSpark-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download XHToken/Spark-X2.6-1.7B-DSpark-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。