Spark-X2.6-1.7B-GGUF

Spark-X2.6-1.7B-GGUF

以 4-bit GGUF 文件运行 XHToken 的 1.7B 小型端侧语言模型，可做中英文的聊天、编码和智能体任务，思考强度可调。适合在本地运行模型的人。

由 XHToken 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Spark-X2.6-1.7B-GGUF 是 Spark-X2.6-1.7B 的 GGUF 版本，后者是 XHToken 做的紧凑语言模型，面向端侧使用。它沿用早先 Spark-X2.5-1.7B 的架构，能力提升来自更好的后训练。列表标注了英文和中文，4-bit 文件估计约 988 MB。

适合谁：它适合想在笔记本或台式机上运行小模型、不依赖托管服务，并且喜欢调节推理强度的人。

行业 | 谁在用 | 怎么用 | 例子
软件开发 | 开发者 | 在本地机器上运行小型编码和智能体模型 | 让它规划一次多步骤修改
端侧应用 | 应用开发者 | 发布不需要服务器的本地文字功能 | 在桌面工具里回答问题
双语工作 | 写作者和学生 | 用中英文提问和起草文字 | 用中文询问一个地方
研究 | 爱好者和研究者 | 对比小模型和不同思考级别 | 用同一个提示词试三个思考级别

如果你需要大模型来解决难题，可以跳过它，因为这个模型是为小型设备设计的。

用在哪里：

• 能加载 GGUF 文件的 llama.cpp 类本地工具
• 使用原始模型、基于 transformers 库的 Python 项目
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用例 | 谁用 | 得到什么
本地聊天 | 任何人 | 你自己机器上的模型给出的文字回答
编码和智能体任务 | 开发者 | 按作者的说法，提供代码帮助和多步骤的工具规划
可调推理 | 应用开发者 | 可选无、低或高三种思考，用来在速度和质量之间取舍

如何设置：你需要 Python 和能加载 GGUF 文件的工具，或者用 transformers 库加载原始权重。

• Windows、macOS 或 Linux 上的 Python
• huggingface_hub 包
• 支持 GGUF 的运行环境（如 llama.cpp），或用 transformers 4.57.1 加载原始模型

1. 安装 huggingface_hub。
2. 把 GGUF 文件下载到你的电脑。
3. 在你的 GGUF 运行环境中加载它们，或使用下一节的 transformers 路线。

pip install -U huggingface_hub
hf download XHToken/Spark-X2.6-1.7B-GGUF

如何使用：模型卡自己的快速上手用 transformers 加载原始模型仓库，而不是 GGUF 文件，后面还有一次 generate 调用。思考级别在你构建提示词时选择。

pip install transformers==4.57.1

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "XHToken/Spark-X2.6-1.7B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    torch_dtype="auto",
    device_map="auto",
)
messages = [{"role": "user", "content": "What is the capital of Anhui Province?"}]
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    enable_thinking=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

示例：你像模型卡那样问“What is the capital of Anhui Province?”。模型会给出一句简短的文字回答，开启思考时，它可能先推理再给出答案。

新手与专家：如果你刚接触本地模型，这是一个能在普通硬件上运行的小模型。第一次可以先下载文件，再像首都城市那个例子一样问它一个简短的问题。

对熟悉这个领域的人来说，模型卡描述了无、低、高三个思考级别。对 1.7B 模型，从高降到低，平均得分少 4.0 分，输出长度少 37.3%。速度方面的说法来自作者自己的测试，他们还建议使用定制的 llama.cpp 构建来获得最佳效果。

Title: 从高到低推理强度的平均得分下降
Spark-X2.6-1.7B: 4.0 points
Spark-X2.6-4B: 1.7 points

GGUF 文件从 Hugging Face 下载
GGUF 运行环境加载 4-bit 模型
你发送带思考级别的提示词
模型用中文或英文回答

注意事项：模型卡里的基准和速度说法都是作者自己的，所以在依赖它之前，请先在你的任务上测试。

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你输入的提示词和下载的模型文件
• Not for: 模型卡没有列出限制，不过它的快速上手对原始模型要求把 trust_remote_code 设为 True

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：2B
• Weights: about 988 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：26,744
• 点赞：50
• 许可证：apache-2.0
• 语言：en, zh
• 基于：XHToken/Spark-X2.6-1.7B
• Quantized versions: 1
• Fine-tunes: 1
• 标签：transformers, gguf, sparkx2_5, text-generation, conversational

链接

• 模型：https://huggingface.co/XHToken/Spark-X2.6-1.7B-GGUF
• 文件：https://huggingface.co/XHToken/Spark-X2.6-1.7B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download XHToken/Spark-X2.6-1.7B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。