Kvark-Sparkle-1.0-27B-GGUF

Kvark-Sparkle-1.0-27B-GGUF

KVARK Sparkle 1.0 这个 27B 视觉语言模型的 GGUF 文件，适用于 llama.cpp、Ollama 和 LM Studio，保留了推测解码头。适合在本地运行大模型的人。

由 Egzakta 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 KVARK Sparkle 1.0 的 GGUF 文件，这是一个 27B 的图像和文字模型，适用于 llama.cpp、Ollama 和 LM Studio。每个文件都保留了 MTP 头，所以推测解码可以用。量化版本使用的重要性矩阵，来自作者自己的 SFT 数据，并作为文件附上。

适合谁：在自己机器上运行大模型，想要大小适合 24 GB 或更小显卡的量化文件的人。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用 OpenAI 风格的接口运行本地 27B 模型 | 一个本地聊天接口
研究 | AI 爱好者 | 比较量化大小和推理成本 | Q4_K_M 对比 Q6_K
教育 | 学生 | 在家试用视觉语言模型 | 配合 mmproj 文件询问一张图片
信息技术 | 小团队 | 托管私有助手 | 通过 Ollama 提供的内部聊天工具

如果你的机器装不下超过 15 GB 的文件，或者你想要小模型，可以跳过它。

用在哪里：

• llama.cpp，通过 llama-server
• Ollama
• LM Studio，在里面搜索仓库名称

Use case | Who | What they get back
本地聊天 | 开发者 | 文字回答，思考过程放在单独的字段里返回
图像提问 | 爱好者 | 通过视觉投影文件得到针对图像的回答
更快的解码 | 开发者 | 通过 MTP 头做推测解码

如何设置：

• 电脑上装有 Python 和 pip，用于下载
• llama.cpp、Ollama 或 LM Studio
• 为一个文件留出磁盘和内存，从 15.3 GB 到 29.0 GB

1. 安装 Hugging Face hub 软件包。
2. 选一个量化版本。模型卡为 24 GB 显卡推荐 Q4_K_M。
3. 在 llama.cpp、Ollama 或 LM Studio 里启动它。

pip install -U huggingface_hub
hf download Egzakta/Kvark-Sparkle-1.0-27B-GGUF

如何使用：用 Q4_K_M 量化版本和 65,536 的上下文启动 llama-server，然后通过 8080 端口上的 OpenAI 风格接口聊天。服务把思考过程放在叫 reasoning_content 的字段里返回。

llama-server -hf Egzakta/Kvark-Sparkle-1.0-27B-GGUF:Q4_K_M -c 65536 --jinja \
  --spec-type draft-mtp --spec-draft-n-max 3 \
  --temp 1.0 --top-p 0.95 --top-k 20

Tool | What it does
--spec-type draft-mtp | 借助附带的 MTP 头开启更快的草稿生成，草稿上限为 3 个词元
--no-mmproj | 只用文字，跳过视觉投影
-ctk q8_0 -ctv q8_0 | 把 KV 缓存减半
--reasoning off | 不思考直接回答

curl -s localhost:8080/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "How many primes are there between 100 and 150?"}]}'

示例：你问服务器 100 到 150 之间有多少个质数。它先推理，把思考过程放在 reasoning_content 里返回，并在消息里给出答案。

新手与专家：如果你是新手，选 Q4_K_M，用 llama-server 命令，问一个问题。在 LM Studio 里，模型卡建议用 65,536 个词元的上下文，采样值和 llama-server 命令里的一样。

如果你懂这个领域，模型卡按上下文长度测量了 KV 缓存。在 262,144 个词元时，f16 是 16 GiB，q8_0 是 8.5 GiB，外加不到 0.2 GB 的线性注意力状态。主图报告的回答时间中位数是 13.7 秒，而 Qwen3.8-27B 是 28.1 秒。

KVARK Sparkle 1.0 27B
用自己的 SFT 数据做重要性矩阵
带 MTP 头的 GGUF 量化版本
llama.cpp、Ollama 或 LM Studio

Title: 回答时间中位数，单位秒
Qwen3.8-27B: 28.1 s
KVARK Sparkle 1.0: 13.7 s

注意事项：

• License: Apache 2.0
• Cost to run: 你自己的硬件，没有提到付费服务
• Data it reaches: 你下载的文件和你给它的提示词
• Memory: Q4_K_M 是 16.8 GB，上下文变长时 KV 缓存还要再占更多
• Images: 需要单独的 mmproj 文件

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：7,317
• 点赞：14
• 许可证：apache-2.0
• 语言：en
• 基于：Egzakta/Kvark-Sparkle-1.0-27B
• 标签：gguf, llama.cpp, imatrix, reasoning, kvark, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/Egzakta/Kvark-Sparkle-1.0-27B-GGUF
• 文件：https://huggingface.co/Egzakta/Kvark-Sparkle-1.0-27B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Egzakta/Kvark-Sparkle-1.0-27B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。