Spark-X2.6-4B-DSpark-GGUF

Spark-X2.6-4B-DSpark-GGUF

作为推测解码的小型草稿模型，为 Spark-X2.6-4B 加速文本生成，提供 GGUF 格式。适合用 llama.cpp 在本地运行该模型的人。

由 XHToken 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个用于推测解码的草稿模型，是 XHToken 制作的 624M 参数 BF16 GGUF 文件。它与 Spark-X2.6-4B 模型配对。草稿模型向前猜测若干个 token，主模型再一起检查这些猜测，所以需要的慢速逐 token 步骤更少。

适合谁：适合已经在自己电脑上运行 Spark-X2.6-4B 并想要更快回复的人，也适合研究推测解码的开发者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地部署 Spark-X2.6-4B 并挂上草稿模型 | 一个回答更快的本地聊天接口
研究 | 机器学习工程师 | 测量主模型接受了多少草稿 token | 比较数学和编程数据集上的接受情况
边缘计算 | 端侧应用开发者 | 在单块 GPU 或 Mac 上提高 token 速度 | 回复更快的笔记本助手

如果你不运行 Spark-X2.6-4B，可以跳过它，因为草稿模型单独没有用处。

用在哪里：

• XHToken 的 llama.cpp 构建，模型卡的步骤就用它
• 装有 Bash 和 NVIDIA GPU 的 Linux，用于模型卡自己的命令
• 通过 MLX 使用的 Apple 芯片，模型卡在那里报告了自己的速度测试

Use case | Who | What they get back
更快的本地聊天 | 开发者 | 用更少的顺序步骤生成回复
兼容 OpenAI 的服务器 | 应用开发者 | 使用熟悉聊天格式的本地接口
速度测试 | 研究人员 | 草稿的接受率和吞吐数据

如何设置：

• Python，用来运行 Hugging Face 下载工具
• GGUF 格式的 Spark-X2.6-4B 目标模型，BF16 或量化权重均可
• 模型卡所用 llama.cpp 分支的 CUDA 构建，因为上游支持仍在进行中

1. 用 hf 命令下载这个草稿模型。
2. 同时下载 Spark-X2.6-4B 目标模型。
3. 构建模型卡指明的 llama.cpp 分支，并开启 CUDA。
4. 启动 llama-server，把目标模型作为主模型，把这个文件作为草稿。

pip install -U huggingface_hub
hf download XHToken/Spark-X2.6-4B-DSpark-GGUF

如何使用：用两个 GGUF 文件启动服务器，然后像对任何 OpenAI 风格的接口那样向它发送聊天请求。模型卡的启动命令如下，草稿每次最多提出七个 token。

set -o pipefail
./build-cuda/bin/llama-server \
  -m models/Spark-target.gguf \
  -md models/Spark-draft.gguf \
  --alias spark-dspark \
  --spec-type draft-dspark \
  --spec-draft-sampling greedy \
  --spec-draft-n-max 7 \
  --spec-draft-p-min 0 \
  -ngl 999 -ngld 999 \
  -ctk f16 -ctv f16 \
  -ctkd f16 -ctvd f16 \
  -fa on \
  -c 8192 -np 1 \
  -b 2048 -ub 512 -t 8 \
  --jinja \
  --host 127.0.0.1 --port 8080 \
  2>&1 | tee dspark-server.log

Tool | What it does
-m | 设置目标模型文件
-md | 设置草稿模型文件
--spec-draft-n-max | 限制草稿每次最多提出多少个 token
--alias | 给模型起一个请求用的名字，这里是 spark-dspark

示例：服务器运行后，你发送一个聊天请求，用户消息是“你好”，并要求最多 512 个 token。服务器返回一条正常的聊天回复，背后由草稿模型协助生成。

新手与专家：先让 Spark-X2.6-4B 单独跑起来，再把这个文件加为草稿并比较速度。第一次测试保持简短。

草稿模型有 5 个滑动窗口注意力层，窗口为 512，隐藏维度为 2560。它读取目标模型五个层的隐藏状态。模型卡报告的平均接受长度约为 4.0 到 4.6，最大值为 8，取决于思考模式。

加载目标模型
草稿提出最多 7 个 token
目标模型并行检查
保留被接受的 token

注意事项：

• License: Apache 2.0
• Cost to run: 没有提到费用，不过模型卡的命令需要一块 NVIDIA GPU
• Data it reaches: 模型卡的服务器只在你自己的机器上监听，下载来自 Hugging Face
• Not for: 脱离 Spark-X2.6-4B 目标模型单独使用
• Not for: 在 Linux、Bash 和 NVIDIA GPU 以外的系统上使用模型卡自己的命令

Title: 模型卡端侧测试中的平均加速
BF16 on RTX 4090: 2.14 times
BF16 on M5 Pro: 2.50 times
Q4_K_M on RTX 4090: 1.98 times
INT4 on M5 Pro: 1.62 times

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：624M
• Weights: about 312 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：4,008
• 点赞：29
• 许可证：apache-2.0
• 语言：en, zh
• 基于：XHToken/Spark-X2.6-4B
• 标签：gguf, sparkx2_6, dspark, speculative-decoding, draft-model, llama-cpp, text-generation, conversational

链接

• 模型：https://huggingface.co/XHToken/Spark-X2.6-4B-DSpark-GGUF
• 文件：https://huggingface.co/XHToken/Spark-X2.6-4B-DSpark-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download XHToken/Spark-X2.6-4B-DSpark-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。