KVARK Sparkle 1.0 (27B) FP8

KVARK Sparkle 1.0 (27B) FP8

在 vLLM 上运行 FP8 格式的 27B 图文模型。和同规模的 Qwen 模型相比，它推理时用的词元少得多。适合自己托管模型的人。

由 Egzakta 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 KVARK Sparkle 1.0 的 FP8 版本，由 Egzakta 制作，参数量 27.8B，能读取图片和文字并输出文字。它为 vLLM 打包，并保留了多词元预测头。Egzakta 称它推理时用的词元比 27B 的 Qwen 模型少得多，准确率仍然接近。

适合谁：它适合自己托管语言模型、想让难题的思考更短的人。模型卡测了科学、数学、编程和指令类任务。

Title: 谁在用
Industry | Who uses it | How they use it | Example
软件 | 托管模型的工程师 | 用 vLLM 在一块大 GPU 上提供服务 | 回答难题的编程助手
研究 | 机器学习研究者 | 和另一个模型比较推理长度 | 检查科学题的词元用量
教育 | 开发辅导工具的团队 | 对数学题做分步推理 | 数学练习助手

如果你只想在笔记本上跑小模型，可以跳过它，因为文件有 29 GB。

用在哪里：

• vLLM：模型卡描述的服务方式，预测头保持开启
• 单块 H200 GPU：它能用这些权重提供约 128k 上下文
• 装有 Python 的 Windows、macOS 或 Linux：用来下载文件
• Transformers：模型页上标注的库

Title: 它能做的事
Use case | Who | What they get back
科学问题 | 研究者 | 写出的推理过程，然后是最终答案
数学题 | 学生和老师 | 分步解答
代码任务 | 开发者 | 推理比 Qwen 模型更短的代码

如何设置：

• Windows、macOS 或 Linux 上的 Python
• 能放下 29 GB 权重的 GPU，例如一块 H200
• 用 vLLM 来提供模型服务，模型卡测速用的是 0.30 版

1. 安装 Hugging Face Hub 工具。
2. 下载模型文件。
3. 按模型卡里的服务步骤启动 vLLM。

pip install -U huggingface_hub
hf download Egzakta/Kvark-Sparkle-1.0-27B-FP8

如何使用：
按模型卡里的服务步骤启动 vLLM，然后在开启思考的情况下发送提示词，模型卡的测试就是这样做的。下载命令负责先取回文件。

hf download Egzakta/Kvark-Sparkle-1.0-27B-FP8

示例：
你发一个难题，比如“从一副牌里抽到两张 A 的概率是多少？”模型先写出推理过程，再给出答案。在 AIME 题目上，模型卡称推理词元的中位数比 Qwen 模型少了 62%。

新手与专家：
如果你是新手，可以把它看作一个先思考再回答的大模型，以 8 位浮点存储，所以文件保持在 29 GB 左右。第一件小事是运行那两条下载命令，然后打开模型卡看服务步骤。

如果你懂这个领域，权重是 F8_E4M3，预测头让服务器每步起草多个词元。模型卡给出的平均接受长度是 2.53，Qwen 模型是 2.50。代价在准确率上。Sparkle 在 LiveCodeBench 上得 82.7，Qwen 是 77.3，其他四项测试略低，而且五项的 95% 区间都碰到或跨过零。

下载 FP8 文件
用 vLLM 提供服务
开启思考后发送提示词
模型先推理再回答
预测头加快解码

注意事项：

Title: 一块 H200 上每个答案的中位用时（秒）
Sparkle with MTP: 13.7 s
Qwen with MTP: 28.1 s
Qwen without MTP: 49.1 s

• 速度测试：20 个固定问题，一次一个请求，所以说明不了多人同时使用的情况。
• 语言：记录里只列了英语。
• License：apache-2.0。
• Cost to run：没有提到 API 密钥、账号或付费服务，但你需要一块 GPU，例如一块 H200。
• Data it reaches：你从 Hugging Face 下载文件，模型卡没有提到别的。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.8B
• Weights: about 27.8 GB in F8_E4M3; about 13.9 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：24,270
• 点赞：5
• 许可证：apache-2.0
• 语言：en
• 基于：Egzakta/Kvark-Sparkle-1.0-27B
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, fp8, vllm, reasoning, kvark, conversational

链接

• 模型：https://huggingface.co/Egzakta/Kvark-Sparkle-1.0-27B-FP8
• 文件：https://huggingface.co/Egzakta/Kvark-Sparkle-1.0-27B-FP8/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Egzakta/Kvark-Sparkle-1.0-27B-FP8

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。