Bonsai-27B-GGUF

Bonsai-27B-GGUF

面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版，含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。

由 lmstudio-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Bonsai-27B-GGUF 是 Bonsai 27B 的 GGUF 转换版，由 LM Studio 社区账号根据 Prism ML 的 unpacked 版本制作。模型卡称它是为 LM Studio 制作的私有转换。

仓库里有两个文件。一个是纯 Q1_0 形式的语言模型，另一个是 BF16 视觉投影器，让模型能接收图片。模型卡说它用 llama-server 和 LM Studio 测试过。

适合谁：适合用 LM Studio 或 llama.cpp 工具在自己电脑上运行模型、想要带图像输入的 27B 模型又想要小体积下载的人。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 测试带工具和图片的本地模型 | 从本地模型调用工具的原型
研究 | 量化测试者 | 试验高压缩的 Q1_0 | 与更大的量化版本做比较
爱好者 | 本地模型用户 | 在家用电脑上与 27B 模型聊天 | 就一张照片提问
企业 | 平台团队 | 离线检查并行工具调用 | 带嵌套 JSON 参数的工作流

如果你需要最好的输出质量，可以跳过它，因为 Q1_0 是高压缩格式，而模型卡没有给出质量结果。

用在哪里：模型卡点名了两个地方。LM Studio 把这些文件索引为一个 27B 模型加一个视觉适配器，llama-server 也用于检查。

• LM Studio，文件在其中显示为一个带适配器的模型
• llama.cpp 的 llama-server
• 任何其他能加载 GGUF 文件和视觉投影器的工具

Use case | Who | What they get back
文本聊天 | 本地模型用户 | 27B 模型写出的回复
图片提问 | 应用开发者 | 用到视觉投影器的回答
工具调用 | 智能体构建者 | 并行调用和三阶段工作流

如何设置：你需要 Python 来运行下载工具，以及 LM Studio 这样的 GGUF 运行环境。按模型卡上的大小，两个文件合计约占 4.7 GB 磁盘。

• 带 pip 的 Python
• LM Studio 或 llama.cpp 的 llama-server
• 约 4.7 GB 空闲磁盘空间

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载仓库文件。
3. 把每个文件与模型卡上的校验和对照。
4. 在 LM Studio 里打开这些文件，或让 llama-server 指向它们。

pip install -U huggingface_hub
hf download lmstudio-community/Bonsai-27B-GGUF

模型卡列出这些校验和，方便你确认下载的文件一致。

71d6871836886267f39f1ac69b1b1dd8a783970708d7a189960112ed02978901  Bonsai-27B-Q1_0.gguf
c4c09d300638f6d2759e1ffe94d97cf08be94b8c9dad6920509be1aab11fd8cb  mmproj-Bonsai-27B-BF16.gguf

如何使用：把语言文件和它的视觉投影器一起加载，然后发送文字，或文字加图片。模型卡没有给出运行命令，所以请按你加载它的工具的文档操作。

模型卡列出它做过的四项检查。它们包括读取文字、读取图片、同时调用多个工具，以及一个以工具输出为依据给出回答的连续工具任务。

示例：你在 LM Studio 里加载两个文件，附上一张照片，问里面有什么。投影器文件应该能让模型读懂这张图片。

新手与专家：如果你是新手，把两个文件一起下载。视觉文件是附加件，所以它旁边需要有语言文件。

如果你熟悉这个领域：语言文件是在固定的 llama.cpp 提交上，用 no-mtp 选项转换，再用 pure Q1_0 设置量化的。模型卡说源配置列出了一个 MTP 层，但检查点只包含语言块 0 到 63。

Prism ML 的 unpacked 模型
用 llama.cpp 转换，不含 MTP
量化为纯 Q1_0
两个 GGUF 文件
在 LM Studio 中加载

注意事项：模型卡有意不包含 Prism 单独的 DSpark 草稿模型。图表显示了模型卡列出的两个文件大小。

Title: 文件大小，单位 GB
Language model, Q1_0: 3.80 GB
Vision projector, BF16: 0.93 GB

• License: Apache 2.0
• Cost to run: 未提及费用
• Data it reaches: 你给它的提示词和图片，以及你下载的文件
• Not for: 草稿模型加速，因为模型卡不包含 Prism 的 DSpark 草稿模型

Hugging Face 上的数据（2026年11月14日）

• 框架：gguf
• 参数量：26.9B
• Weights: about 13.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：247,968
• 点赞：39
• 许可证：apache-2.0
• 基于：prism-ml/Bonsai-27B-unpacked
• 标签：gguf, llama.cpp, multimodal, qwen35, bonsai, 1-bit, conversational

链接

• 模型：https://huggingface.co/lmstudio-community/Bonsai-27B-GGUF
• 文件：https://huggingface.co/lmstudio-community/Bonsai-27B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download lmstudio-community/Bonsai-27B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。