Sharp-Spark-X2.5-4B-GGUF

Sharp-Spark-X2.5-4B-GGUF

4B 编程模型 Spark-X2.5 的压缩 GGUF 版本，针对约 6 GB 显存的 GPU 调整了长上下文。适合想在小硬件上本地运行编程模型的开发者。

由 peculiar-ragdoll 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Sharp-Spark-X2.5-4B-GGUF 是一组压缩的 GGUF 文件，取自 XHToken 的 Spark-X2.5-4B 模型。这个基础模型约有 4B 参数，为长上下文而设计。作者用安全和系统代码构建重要性矩阵，还加了自己的聊天模板。目标是让编程模型在小显卡上本地运行。

适合谁：显卡较小、内存 16 GB 或更少，又想在自己电脑上用编程模型的开发者。

Industry | Who uses it | How they use it | Example
软件 | 独立开发者 | 在 6 GB 显卡上本地运行编程助手 | 让它解释或修复一个函数
安全 | 安全工程师 | 使用针对安全和系统代码调整的模型 | 检查一段代码里的风险写法
教育 | 学生 | 用能装进普通笔记本的模型练习编程 | 请它帮忙看一个小程序
软件 | 处理长文件的团队 | 把长上下文交给小模型 | 粘贴一个大文件再提问

如果你的内存超过 16 GB，模型卡建议改用同一作者的更大的混合专家编程模型。

用在哪里：

• Windows、macOS 或 Linux，下载这一步需要 Python
• 能加载 GGUF 模型文件的程序
• 按量化档位，显存约 4 到 6 GB 的 GPU

Use case | Who | What they get back
本地编程帮助 | 开发者 | 不依赖云服务的代码建议和解释
长上下文工作 | 开发者 | 按模型卡所说，处理长提示词时仍有可用的速度
小显卡运行 | 爱好者 | 适合 4、5 或 6 GB 显卡的量化版本

如何设置：

• 电脑上装有 Python 和 pip
• 显存约 4 到 6 GB 的 GPU，对应所列的量化版本
• 能加载 GGUF 文件的程序

1. 安装 Hugging Face hub 软件包。
2. 用 hf 命令下载整个仓库。
3. 选一个量化文件，显存有 6 GB 以上就选 Q6_K_XL。
4. 打开模型卡查看运行步骤。

pip install -U huggingface_hub
hf download peculiar-ragdoll/Sharp-Spark-X2.5-4B-GGUF

如何使用：在支持 GGUF 的程序里加载量化文件，然后问编程问题。模型卡建议尽量用 Q6_K_XL，把 Q4 当作备选。按你的显存来选。

Tier | Size and card advice
Q4_K_XL | 2.67 GB，适合 4 GB 显卡或想要更多上下文空间
Q5_K_XL | 3.24 GB，适合 5 GB 显卡
Q6_K_XL | 3.61 GB，适合 6 GB 或更大的显卡，已在编程测试中验证

示例：你加载 Q6_K_XL 文件，请它找出你粘贴的函数里的错误。它会给出一个修改建议和简短的说明，和任何编程模型一样。

新手与专家：如果你是新手，显卡有 6 GB 就下载 Q6_K_XL 文件，先问一个简短的编程问题，再试长的。这种大小的模型，量化越小质量损失越大，所以模型卡不建议低于 Q4。

如果你懂这个领域，基础模型用混合注意力。36 层里只有 9 层保留完整注意力，其余用 512 个词元的窗口，所以缓存增长很慢。模型卡给出在 131,072 上下文下每秒解码 42 个词元，并说在 100 题的 MMLU-Pro 子集上与上游 Q8 打平。

Spark-X2.5-4B 基础模型
对安全和代码文本做重要性矩阵
按张量分配比特
Q4、Q5 或 Q6 的 GGUF 文件

注意事项：

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你下载到电脑上的文件
• Not for: 低于 Q4 的量化版本，模型卡说这会损害小模型
• Size: Q4_K_XL 为 2.67 GB，Q6_K_XL 为 3.61 GB

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：4.1B
• Weights: about 2.1 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：875,346
• 点赞：164
• 许可证：apache-2.0
• 基于：XHToken/Spark-X2.5-4B
• 标签：gguf, llama.cpp, imatrix, spark2_5, long-context, coding, sharp-template, token-efficient, efficient-thinking, text-generation, conversational

链接

• 模型：https://huggingface.co/peculiar-ragdoll/Sharp-Spark-X2.5-4B-GGUF
• 文件：https://huggingface.co/peculiar-ragdoll/Sharp-Spark-X2.5-4B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download peculiar-ragdoll/Sharp-Spark-X2.5-4B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。