DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
用面向本地设备的紧凑 1.7B 模型生成文本,有三档可调的思考等级。适合想在本地硬件上获得编程、智能体和长上下文帮助的开发者。
Spark-X2.6-1.7B 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download XHToken/Spark-X2.6-1.7B
Spark-X2.6-1.7B 是面向英文和中文的紧凑语言模型,设计用于在本地设备上运行。这个系列从一个 4B 的版本开始,这个 1.7B 模型是接下来的一个。它沿用 Spark-X2.5-1.7B 的架构,靠更好的后训练,在编程、智能体工作、长上下文、多语言和推理上都有提升。
想在笔记本或边缘设备上用小而快的模型、并喜欢自己设定模型思考程度的开发者。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件 | 开发者 | 在本地硬件上运行小型编程和智能体模型 | 给桌面工具加一个本地助手 |
| 移动和边缘 | 设备开发者 | 在应用里放一个设备端语言模型 | 不用服务器就能回答问题 |
| 教育 | 学习者 | 在普通电脑上试用现代小模型 | 用中文或英文问它一个问题 |
如果你需要最强的回答,并且有大显卡,可以跳过它。
| Use case | Who | What they get back |
|---|---|---|
| 编程帮助 | 开发者 | 来自小模型的代码和修复 |
| 智能体任务 | 智能体开发者 | 多步骤规划和工具使用 |
| 长上下文阅读 | 分析师 | 从很长的输入中得出的回答 |
pip install -U huggingface_hub hf download XHToken/Spark-X2.6-1.7B
pip install transformers==4.57.1
加载分词器和模型,再通过聊天模板发送一条聊天消息。卡片让你在三档思考等级里选一档,分别是 none、low 和 high,在质量与速度和成本之间取舍。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "XHToken/Spark-X2.6-1.7B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
trust_remote_code=True,
torch_dtype="auto",
device_map="auto",
)| Tool | What it does |
|---|---|
| AutoTokenizer | 加载分词器并套用聊天模板 |
| AutoModelForCausalLM | 加载模型并生成回复 |
| Thinking level | 选择 none、low 或 high 的推理力度 |
你在一条聊天消息里问它一个简短的事实问题。模型用文字回复,思考等级调低时,回复更短也更快。
如果你是新手,用上面的代码加载模型,发一个简短的问题。速度要紧时试试 low 思考等级。
卡片直接比较了不同的思考等级。从 high 调到 low,平均分数下降 4.0 分,平均输出长度减少 37.3%。模型沿用 Spark-X2.5-1.7B 的架构,所以变化来自后训练,而不是新增的层。
用面向本地设备的紧凑 1.7B 模型生成文本,有三档可调的思考等级。适合想在本地硬件上获得编程、智能体和长上下文帮助的开发者。
由 XHToken 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Spark-X2.6-1.7B 是面向英文和中文的紧凑语言模型,设计用于在本地设备上运行。这个系列从一个 4B 的版本开始,这个 1.7B 模型是接下来的一个。它沿用 Spark-X2.5-1.7B 的架构,靠更好的后训练,在编程、智能体工作、长上下文、多语言和推理上都有提升。
适合谁:想在笔记本或边缘设备上用小而快的模型、并喜欢自己设定模型思考程度的开发者。
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地硬件上运行小型编程和智能体模型 | 给桌面工具加一个本地助手
移动和边缘 | 设备开发者 | 在应用里放一个设备端语言模型 | 不用服务器就能回答问题
教育 | 学习者 | 在普通电脑上试用现代小模型 | 用中文或英文问它一个问题
如果你需要最强的回答,并且有大显卡,可以跳过它。
用在哪里:
Use case | Who | What they get back
编程帮助 | 开发者 | 来自小模型的代码和修复
智能体任务 | 智能体开发者 | 多步骤规划和工具使用
长上下文阅读 | 分析师 | 从很长的输入中得出的回答
如何设置:
pip install -U huggingface_hub
hf download XHToken/Spark-X2.6-1.7B
pip install transformers==4.57.1
如何使用:加载分词器和模型,再通过聊天模板发送一条聊天消息。卡片让你在三档思考等级里选一档,分别是 none、low 和 high,在质量与速度和成本之间取舍。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "XHToken/Spark-X2.6-1.7B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
trust_remote_code=True,
torch_dtype="auto",
device_map="auto",
)
Tool | What it does
AutoTokenizer | 加载分词器并套用聊天模板
AutoModelForCausalLM | 加载模型并生成回复
Thinking level | 选择 none、low 或 high 的推理力度
示例:你在一条聊天消息里问它一个简短的事实问题。模型用文字回复,思考等级调低时,回复更短也更快。
新手与专家:如果你是新手,用上面的代码加载模型,发一个简短的问题。速度要紧时试试 low 思考等级。
卡片直接比较了不同的思考等级。从 high 调到 low,平均分数下降 4.0 分,平均输出长度减少 37.3%。模型沿用 Spark-X2.5-1.7B 的架构,所以变化来自后训练,而不是新增的层。
加载分词器和模型
构建聊天消息
选择思考等级
生成并读取回复
注意事项:
Title: Switching from high to low reasoning effort
Average score drop: 4.0 分
Average output length drop: 37.3 %
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download XHToken/Spark-X2.6-1.7B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Spark-X2.6-1.7B 本页 | 5,095 | 84 | 1.7B | apache-2.0 | |
| Spark-X2.6-4B共有 sparkx2_5 · spark2_5 · text-generation | 28,117 | 1,041 | 4.1B | apache-2.0 | |
| Spark-X2.5-4B共有 sparkx2_5 · spark2_5 · text-generation | 8,697 | 1,442 | 4.1B | apache-2.0 | |
| Spark-X2.6-4B-Base共有 sparkx2_5 · spark2_5 · text-generation | 2,331 | 47 | 4.1B | apache-2.0 | |
| Spark-X2.6-4B-FP8共有 sparkx2_5 · spark2_5 · text-generation | 2,048 | 39 | 4.1B | apache-2.0 | |
| Spark-X2.6-1.7B-Base共有 sparkx2_5 · spark2_5 · text-generation | 1,272 | 15 | 1.7B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。