Spark-X2.6-4B-FP8

Spark-X2.6-4B-FP8

面向设备端运行的 4.1B 参数紧凑文本模型，FP8 版本，有 none、low、high 三档思考等级，支持中英文。适合在小型硬件上做编程和智能体任务。

由 XHToken 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Spark-X2.6-4B-FP8 是 Spark-X2.6-4B 的 FP8 版本，Spark-X2.6-4B 是 XHToken 推出的紧凑通用语言模型，设计用于在设备上运行。它有 4.1B 参数，权重约 4.1 GB。模型卡说，通过更好的后训练，它在编程、智能体任务、长上下文和推理方面比 Spark-X2.5-4B 有所提升。

适合谁：想在有限硬件上用小模型做编程助手、使用工具的智能体或聊天的开发者，支持英文和中文。模型卡还把它和 Qwen3.5-4B、Gemma-E4B 等其他小型设备端模型做了对比。

Title: 谁在用，怎么用
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在自己的机器上运行编程助手或使用工具的助手 | 让它分几步规划一次小的代码修改
设备端应用 | 应用开发者 | 把紧凑模型随应用一起发布，并调节它的推理量 | 把思考等级设为 low，换取更快的回复
多语言产品 | 服务中英文用户的团队 | 用任一种语言回答问题 | 用中文问一个事实性问题，再读它的回复
研究 | 模型评测人员 | 在智能体和代码任务上，把 4B 模型和更大的模型对比 | 查看不同思考等级如何改变分数和输出长度

如果你需要最大的模型，可以跳过它，因为模型卡的对比对象是相近大小的模型，也有一些约 9B 的模型。

用在哪里：

• 装有 transformers 库的 Python
• Windows、macOS 或 Linux，下载命令在这些系统上都能用
• 带 GPU 的机器，因为快速入门代码会让库把模型放到可用的设备上

Use case | Who | What they get back
编程帮助 | 开发者 | 代码建议和多步计划
智能体任务 | 智能体开发者 | 一个本地小模型做出的工具使用决策
快速聊天 | 应用开发者 | 思考设为 low 或关闭时得到的简短回复

如何设置：你需要 Python 和 pip。模型卡要求使用一个指定版本的 transformers。

• Python 和 pip
• 约 4.1 GB 的磁盘空间放 FP8 权重
• 模型卡指定的 transformers 版本

1. 安装模型卡要求的 transformers 版本。
2. 用 Hugging Face 的工具下载这个仓库。
3. 在 Python 里加载模型和分词器。

pip install transformers==4.57.1
pip install -U huggingface_hub
hf download XHToken/Spark-X2.6-4B-FP8

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "XHToken/Spark-X2.6-4B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    torch_dtype="auto",
    device_map="auto",
)

如何使用：模型卡的快速入门写的是基础仓库的名字，所以要换成这个仓库自己的名字才能加载 FP8 版本。然后构造一条聊天消息，通过聊天模板传入，模板带有 enable_thinking 设置。

Tool | What it does
AutoTokenizer | 加载模型的分词器
AutoModelForCausalLM | 加载模型并把它放到可用的设备上
apply_chat_template | 把聊天消息变成模型输入，并带上思考设置
thinking levels | 三档设置，none、low 和 high，在推理质量与速度和成本之间取舍

示例：你发送模型卡自己的示例问题 "What is the capital of Anhui Province?"，并打开思考。模型先推理，再以文字返回答案。把思考调低，回复会更短。

新手与专家：如果你是新手，这是一个你可以自己运行的小型聊天模型，三档思考等级让你在快速和仔细的回答之间选择。先用快速入门的代码问一个问题。

对这个领域的人来说，模型卡说它的架构和 Spark-X2.5-4B 相同，提升来自后训练。在它自己的测试里，从 high 降到 low 推理，4B 模型的平均分少了 1.7 分，输出长度缩短 22.0%。1.7B 模型少了 4.0 分，长度缩短 37.3%。

发送一条聊天消息
选择思考等级
模型先推理，或者跳过
读取文字回答

注意事项：

Title: 从 high 降到 low 推理时平均输出长度的降幅
Spark-X2.6-1.7B: 37.3 %
Spark-X2.6-4B: 22 %

• License: Apache 2.0
• Cost to run: 没有列出费用，你用的是自己的硬件
• Data it reaches: 它从 Hugging Face 下载文件，快速入门代码还允许运行仓库自带的代码
• Not for: 没有列出，不过模型卡的结果来自它自己的测试
• 模型卡里的基准图表是图片，这个页面无法复述

Hugging Face 上的数据（2026年11月14日）

• 任务：text generation
• 框架：transformers
• 参数量：4.1B
• Weights: about 4.1 GB in F8_E4M3; about 2.1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：2,048
• 点赞：39
• 许可证：apache-2.0
• 语言：en, zh
• 基于：XHToken/Spark-X2.6-4B
• Fine-tunes: 1
• 标签：transformers, safetensors, spark2_5, text-generation, sparkx2_5, conversational, compressed-tensors

链接

• 模型：https://huggingface.co/XHToken/Spark-X2.6-4B-FP8
• 文件：https://huggingface.co/XHToken/Spark-X2.6-4B-FP8/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download XHToken/Spark-X2.6-4B-FP8

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。