Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
一个 4.1B 的语言模型,擅长编程、智能体任务和长上下文,支持英文和中文,有三档思考强度,适合构建在自己设备上运行的智能体的开发者。
Spark-X2.6-4B 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install transformers==4.57.1
Spark-X2.6-4B 是一个有 4.1B 参数的紧凑通用语言模型,为设备端使用而做。它沿用 Spark-X2.5-4B 的架构,改进来自更好的后训练。它支持英文和中文,有三档思考强度:无、低和高。
它适合想要一个小模型来做本地智能体、编程帮助和长文档,而不用把数据发到服务器的开发者。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件 | 开发者 | 运行本地的编程和智能体助手 | 在笔记本上规划步骤并调用工具的助手 |
| 产品团队 | 应用开发者 | 发布设备端助手 | 不依赖云端模型也能用的聊天功能 |
| 全球团队 | 内容人员 | 用一个模型处理英文和中文 | 用两种语言起草和检查文字 |
| 人工智能研究 | 研究人员 | 研究不同思考强度的代价 | 对比高低强度下的分数和输出长度 |
如果你需要一个超大模型来处理最难的任务,可以跳过它。
| Use case | Who | What they get back |
|---|---|---|
| 编程帮助 | 开发者 | 按你选的思考强度给出的代码和解释 |
| 智能体任务 | 智能体开发者 | 小模型完成的工具使用和多步骤规划 |
| 长上下文阅读 | 分析人员 | 从长输入里得出的回答 |
你需要先准备:
pip install transformers==4.57.1
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "XHToken/Spark-X2.6-4B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
trust_remote_code=True,
torch_dtype="auto",
device_map="auto",
)
messages = [{"role": "user", "content": "What is the capital of Anhui Province?"}]把你的问题放进消息列表,经过分词器的聊天模板,然后生成。模型卡的示例在模板里打开了思考。选择无、低或高的思考强度,在回答质量与速度和成本之间取舍。
| Tool | What it does |
|---|---|
| enable_thinking=True | 在聊天模板示例里打开思考 |
| Thinking levels | 无、低或高,让你在质量、延迟和成本之间取舍 |
| trust_remote_code=True | 加载时允许运行随模型提供的代码 |
| device_map="auto" | 把模型放到你有的设备上 |
你问:“写一个判断字符串是否为回文的函数。”开着思考时,模型先推理,再返回这个函数。思考设为无时,它回答得更快,推理更少。
这是一个可以在你自己机器上运行的小模型。第一步可以先用上面的简短 Python 示例,开着思考,再用同一个问题关掉思考试一次。
作者说,改进只来自后训练,架构与上一个版本没有变化。他们报告它与某些约 9B 参数的模型相当或更好,推理速度与 Qwen3.5-4B 和 Gemma-E4B 相当。
按模型卡的数字,降低思考强度会损失一点准确度,并节省输出长度。
一个 4.1B 的语言模型,擅长编程、智能体任务和长上下文,支持英文和中文,有三档思考强度,适合构建在自己设备上运行的智能体的开发者。
由 XHToken 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Spark-X2.6-4B 是一个有 4.1B 参数的紧凑通用语言模型,为设备端使用而做。它沿用 Spark-X2.5-4B 的架构,改进来自更好的后训练。它支持英文和中文,有三档思考强度:无、低和高。
适合谁:它适合想要一个小模型来做本地智能体、编程帮助和长文档,而不用把数据发到服务器的开发者。
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 运行本地的编程和智能体助手 | 在笔记本上规划步骤并调用工具的助手
产品团队 | 应用开发者 | 发布设备端助手 | 不依赖云端模型也能用的聊天功能
全球团队 | 内容人员 | 用一个模型处理英文和中文 | 用两种语言起草和检查文字
人工智能研究 | 研究人员 | 研究不同思考强度的代价 | 对比高低强度下的分数和输出长度
如果你需要一个超大模型来处理最难的任务,可以跳过它。
用在哪里:
Use case | Who | What they get back
编程帮助 | 开发者 | 按你选的思考强度给出的代码和解释
智能体任务 | 智能体开发者 | 小模型完成的工具使用和多步骤规划
长上下文阅读 | 分析人员 | 从长输入里得出的回答
如何设置:
你需要先准备:
pip install transformers==4.57.1
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "XHToken/Spark-X2.6-4B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
trust_remote_code=True,
torch_dtype="auto",
device_map="auto",
)
messages = [{"role": "user", "content": "What is the capital of Anhui Province?"}]
如何使用:把你的问题放进消息列表,经过分词器的聊天模板,然后生成。模型卡的示例在模板里打开了思考。选择无、低或高的思考强度,在回答质量与速度和成本之间取舍。
Tool | What it does
enable_thinking=True | 在聊天模板示例里打开思考
Thinking levels | 无、低或高,让你在质量、延迟和成本之间取舍
trust_remote_code=True | 加载时允许运行随模型提供的代码
device_map="auto" | 把模型放到你有的设备上
示例:你问:“写一个判断字符串是否为回文的函数。”开着思考时,模型先推理,再返回这个函数。思考设为无时,它回答得更快,推理更少。
新手与专家:这是一个可以在你自己机器上运行的小模型。第一步可以先用上面的简短 Python 示例,开着思考,再用同一个问题关掉思考试一次。
作者说,改进只来自后训练,架构与上一个版本没有变化。他们报告它与某些约 9B 参数的模型相当或更好,推理速度与 Qwen3.5-4B 和 Gemma-E4B 相当。
你为模型写好消息
聊天模板加入思考设置
模型先推理,再回答
你读取它返回的文字
注意事项:按模型卡的数字,降低思考强度会损失一点准确度,并节省输出长度。
Title: 从高强度切到低强度的平均分数下降
Spark-X2.6-4B: 1.7 points
Spark-X2.6-1.7B: 4.0 points
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download XHToken/Spark-X2.6-4B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Spark-X2.6-4B 本页 | 28,117 | 1,041 | 4.1B | apache-2.0 | |
| Spark-X2.5-4B共有 sparkx2_5 · spark2_5 · text-generation | 8,697 | 1,442 | 4.1B | apache-2.0 | |
| Spark-X2.6-1.7B共有 sparkx2_5 · spark2_5 · text-generation | 5,095 | 84 | 1.7B | apache-2.0 | |
| Spark-X2.6-4B-Base共有 sparkx2_5 · spark2_5 · text-generation | 2,331 | 47 | 4.1B | apache-2.0 | |
| Spark-X2.6-4B-FP8共有 sparkx2_5 · spark2_5 · text-generation | 2,048 | 39 | 4.1B | apache-2.0 | |
| Spark-X2.6-1.7B-Base共有 sparkx2_5 · spark2_5 · text-generation | 1,272 | 15 | 1.7B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。