Sharp-Spark-X2.6-4B-GGUF

Sharp-Spark-X2.6-4B-GGUF

在 6 GB 显存的显卡上运行支持长上下文的 4B 编程模型。这些 Spark-X2.6-4B 的 GGUF 量化版有三种大小，使用偏向编程的重要性矩阵。

由 peculiar-ragdoll 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Sharp-Spark-X2.6-4B-GGUF 是 XHToken/Spark-X2.6-4B 的一组 GGUF 量化副本，原模型是支持长上下文的 4B 稠密模型。它面向编程，能放进小显卡。

这些量化版带有偏向网络安全和编程材料的重要性矩阵。比特数按张量逐个分配，文件还配有 Sharp-Spark 聊天模板。它是 Sharp-Spark-X2.5-4B 的后继版本，配方相同，权重是新的。

适合谁：适合想在小显卡和不超过 16 GB 内存的电脑上跑本地编程模型的人。

Industry | Who uses it | How they use it | Example
软件 | 硬件配置一般的开发者 | 在本地运行编程模型 | 请它修复一个出错的函数
安全 | 接触网络安全话题的人 | 使用量化数据偏向这些话题的模型 | 起草一个解析日志的脚本
研究 | 智能体和基准测试者 | 在编程任务上比较小模型 | 在一组任务上查看解题数
爱好者 | 本地模型爱好者 | 在 6 GB 显卡上试长上下文聊天 | 贴一个长文件并就它提问

如果你的普通内存超过 16 GB，可以跳过它，因为卡片把这类用户指向更大的 TielCoder 模型，并配合部分 GPU 卸载。

用在哪里：

• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• 能读取 GGUF 文件的本地运行器
• 有 4、5 或 6 GB 显存的 GPU，取决于所选的量化版

Use case | Who | What they get back
本地编程帮助 | 开发者 | 不用托管服务就能得到代码和解释
长上下文工作 | 有大文件的人 | 在六位数上下文下仍保持可用速度的 4B 模型
智能体实验 | 智能体构建者 | 在软件工程任务集上打过分的小模型

如何设置：

• 用来运行下载命令的 Python 和 pip
• 足够所选量化版用的 GPU 显存
• 一个能打开 GGUF 文件的本地运行器

1. 从下面的表里选一个量化版，能放下时优先选 Q6_K_XL。
2. 安装 Hugging Face 工具。
3. 从这个仓库下载文件。
4. 在运行器里打开选好的文件，并应用 Sharp-Spark 聊天模板。

pip install -U huggingface_hub
hf download peculiar-ragdoll/Sharp-Spark-X2.6-4B-GGUF

Title: 量化档位
Quant | Size | Pick it for
Q4_K_XL | 2.68 GB | 4 GB 显存的 GPU，或需要更多上下文空间
Q5_K_XL | 3.25 GB | 5 GB 显存的 GPU，比 Q4 更进一步
Q6_K_XL | 3.61 GB | 6 GB 或更多显存的 GPU，也是做过基准测试的档位

如何使用：在运行器里加载文件，然后聊天或写代码。来源没有给出运行命令，具体步骤请按你的运行器来。

示例：你把一个很长的源文件贴进聊天，问某个函数做什么。作者说模型在六位数上下文下仍保持可用速度，它会用文字回复解释。

新手与专家：如果你刚接触本地模型，且显卡有 6 GB 或更多，就从 Q6_K_XL 文件开始。加载它，发一个简短的编程问题，看看它答得多快。

如果你熟悉这个领域，Spark 用的是混合注意力。36 层里有 9 层是全注意力，其余 27 层用 512 词元的滑动窗口，所以 KV 缓存增长很慢。卡片给出的数字是 f16 下约每词元 36 KB，q8_0 下 19 KB。

按显存选择量化版
下载 GGUF 文件
用 Sharp-Spark 模板加载
发送编程提示词

注意事项：

• Q4 和 Q5 档位用同样的配方，但没有做基准测试，卡片还提醒小模型在 Q6 以下会受损
• 在 MMLU-Pro 上，2.6 版得 71.7%，原版 Q8_0 是 71.3，而且每题用的词元更少
• 在含 17 个任务的软件工程任务集上，它平均每轮解决 8.7 题，原版 Q8_0 平均是 9.0
• 把每个解出的问题所花的全部工作加起来，原版 Q8_0 更快，是 46 分钟对 57 分钟
• 长上下文的速度数字是在同架构的 2.5 版上测的

Title: 2.5 版在两种上下文长度下的解码速度
512 词元的短上下文: 111 词元/秒
131,072 词元的上下文: 42 词元/秒

• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你下载的文件和你给它的提示词，没有提到其他访问
• Not for: 内存超过 16 GB 的人，卡片把他们指向更大的 TielCoder 模型

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：4.1B
• Weights: about 2.1 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：5,044
• 点赞：23
• 许可证：apache-2.0
• 基于：XHToken/Spark-X2.6-4B
• 标签：gguf, llama.cpp, imatrix, spark2_5, long-context, coding, sharp-template, token-efficient, efficient-thinking, text-generation, conversational

链接

• 模型：https://huggingface.co/peculiar-ragdoll/Sharp-Spark-X2.6-4B-GGUF
• 文件：https://huggingface.co/peculiar-ragdoll/Sharp-Spark-X2.6-4B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download peculiar-ragdoll/Sharp-Spark-X2.6-4B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。