KVARK Sparkle 1.1 27B GGUF

KVARK Sparkle 1.1 27B GGUF

用多种大小的 GGUF 文件运行 27B 的 KVARK Sparkle 1.1 模型，可选图像输入和推测解码。适合用 llama.cpp、Ollama 或 LM Studio 在本地跑模型的人。

由 Egzakta 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库里是 KVARK Sparkle 1.1 的 GGUF 文件，这是 Egzakta 推出的 27B 模型，打包后可用于 llama.cpp、Ollama 和 LM Studio。每个文件都保留了模型的多词元预测头。量化文件使用了在 Egzakta 自己的微调数据上算出的重要性矩阵，该矩阵也一并提供。另有一个单独的视觉投影器文件，用来增加图像输入。

适合谁：适合在自己硬件上运行大模型、希望在从全精度到约 15 GB 之间选择文件大小的人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 通过 llama.cpp 运行本地 27B 模型 | 提供 OpenAI 风格接口的私有助手
文档工作 | 分析师 | 不把文档发出去，就能就文档提问 | 在本机上询问一份合同的问题
本地 AI | 爱好者 | 挑选适合自己显卡的文件 | 24 GB 显卡上用 Q4_K_M 文件
研究 | 量化测试者 | 比较各量化类型的文件大小和内存需求 | 不同上下文长度下的 KV 缓存内存

如果你想要原始的未量化模型来做训练，可以跳过它，因为这些文件是用来运行模型的。

用在哪里：它在能打开 GGUF 文件的程序中运行，支持 Windows、macOS 或 Linux。

• llama.cpp，使用其中的 llama-server 程序
• Ollama
• LM Studio

使用场景 | 谁用 | 得到什么
本地聊天 | 开发者 | 来自模型的回答，思考内容放在单独的字段里返回
图像提问 | 爱好者 | 加载视觉文件后，对图片的回复
长上下文 | 分析师 | 内存允许时，最多可达 262,144 个词元的上下文

如何设置：你需要一个 GGUF 运行时，以及足够放下所选文件的内存，文件大小从 15.3 GB 到 54.7 GB。

• llama.cpp、Ollama 或 LM Studio 这类运行时
• 如果用 Hugging Face 工具获取文件，还需要装有 pip 的 Python
• 能放下所选文件加上你的上下文长度所需 KV 缓存的内存

1. 选一个文件。模型卡对 24 GB 显卡推荐 Q4_K_M。
2. 下载它；如果要图像，也下载视觉投影器文件。
3. 用下一节的命令启动 llama-server。

pip install -U huggingface_hub
hf download Egzakta/Kvark-Sparkle-1.1-27B-GGUF

如何使用：下面的命令会拉取 Q4_K_M 文件，把上下文设为 65,536 个词元，并用附带的预测头开启推测解码。随后，8080 端口上的本地服务器会接收 OpenAI 格式的聊天请求，并把思考内容放在单独的字段里返回。

llama-server -hf Egzakta/Kvark-Sparkle-1.1-27B-GGUF:Q4_K_M -c 65536 --jinja \
  --spec-type draft-mtp --spec-draft-n-max 3 \
  --temp 1.0 --top-p 0.95 --top-k 20

工具 | 作用
-m 和 --mmproj | 加载本地的模型文件和视觉投影器文件
--no-mmproj | 仅文本，跳过视觉投影器
-ctk q8_0 -ctv q8_0 | 大约把 KV 缓存内存减半
--reasoning off | 不先思考，直接回答

示例：启动服务器，然后发送一个关于你贴进去的文档的聊天请求。回复里是答案，而模型的推理内容出现在名为 reasoning_content 的单独字段里，所以你的应用可以显示或隐藏它。

新手与专家：GGUF 文件是打包好、能在你自己电脑上运行的模型。文件越小占用内存越少，但会损失一点准确度。第一个小尝试，是用 Q4_K_M 文件运行上面的命令并与它聊天。

对熟悉这个领域的人来说，模型卡列出了从 BF16 到 IQ4_XS 的六个文本文件，外加一个 F16 视觉投影器。KV 缓存随上下文增长，f16 下从 32,768 个词元时的 2 GiB 增加到 262,144 个词元时的 16 GiB，q8_0 下约为其一半。线性注意力状态在任何长度下都低于 0.2 GB。取舍在于文件大小和质量，只有你自己的测试才能说了算。

选一个内存放得下的 GGUF 文件
用该模型启动 llama-server
可选地加载视觉投影器
向 8080 端口发送聊天请求
分别读取答案和推理内容

注意事项：模型卡里的基准图片描述的是原始模型，并且说这些数字不是用这些 GGUF 文件测的。

• 语言：记录里列出的是英语和塞尔维亚语。
• 更少的思考词元：图片报告的推理词元中位数低于 Qwen3.8-27B，例如在 GPQA Diamond 上是 4,471 对 7,670。
• 内存：把 KV 缓存设为 q8_0 大约能让它的大小减半。

Title: 每个文本 GGUF 的文件大小，单位 GB
BF16: 54.7 GB
Q8_0: 29.0 GB
Q6_K: 22.4 GB
Q5_K_M: 19.5 GB
Q4_K_M: 16.8 GB
IQ4_XS: 15.3 GB

Title: 推理词元中位数，Sparkle 1.1 对比 Qwen3.8-27B
GPQA Diamond Sparkle 1.1: 4,471 个词元
GPQA Diamond Qwen3.8-27B: 7,670 个词元
AIME 2026 Sparkle 1.1: 8,732 个词元
AIME 2026 Qwen3.8-27B: 14,822 个词元
HMMT Sparkle 1.1: 13,540 个词元
HMMT Qwen3.8-27B: 21,182 个词元

• License: Apache 2.0。
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务，不过这些文件需要内存很大的机器。
• Data it reaches: 你发给它的提示词和图片，以及命令从 Hugging Face 下载的文件。
• Not for: 把模型卡的基准数字当作这些 GGUF 文件的结果，因为模型卡说它们是在原始模型上测的。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：610
• 点赞：3
• 许可证：apache-2.0
• 语言：en, sr
• 基于：Egzakta/Kvark-Sparkle-1.1-27B
• 标签：gguf, llama.cpp, imatrix, reasoning, agentic-rag, kvark, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/Egzakta/Kvark-Sparkle-1.1-27B-GGUF
• 文件：https://huggingface.co/Egzakta/Kvark-Sparkle-1.1-27B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Egzakta/Kvark-Sparkle-1.1-27B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。