Bonsai-27B-gguf

Bonsai-27B-gguf

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

由 prism-ml 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Bonsai 27B 是一个 27B 级推理模型的 1-bit 版本，打包成适用于 llama.cpp 的 GGUF 文件。它源自 Qwen3.6-27B，把语言权重存成单个比特，每一组共用一个缩放值。部署大小约 3.9 GB，而 FP16 大约是 54 GB，所以笔记本或一张显卡就能运行。作者说它保留了约 90% 的 FP16 质量。

适合谁：它适合想在日常硬件上用大型推理模型、并且愿意运行专用 llama.cpp 构建的人。

行业 | 谁在用 | 怎么用 | 例子
本地 AI 爱好 | 爱好者 | 在笔记本上运行 27B 级模型 | 在使用 Metal 的 Mac 上离线和模型聊天
软件开发 | 开发者 | 在本地应用里测试小体积的推理模型 | 用 llama.cpp 在单张显卡上提供服务
边缘和移动 | 应用开发者 | 看看面向 Apple Silicon 和 iPhone 的 MLX 版本 | 在手机上试用 MLX 版本
模型研究 | 研究者 | 研究 1-bit 权重和推测解码 | 和三值版本做对比

如果你的运行环境加载不了作者的 1-bit 内核，可以跳过它，因为普通构建可能读不了这种格式。

用在哪里：

• CUDA、Metal 或 CPU 上的 llama.cpp，使用作者包含 1-bit 内核的分支
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• 笔记本和单张显卡，模型卡把它们列为目标
• Apple Silicon 和 iPhone，通过单独的 MLX 版本

用例 | 谁用 | 得到什么
本地推理聊天 | 有笔记本的任何人 | 来自能放进内存的文件的推理和编码回答
图片提问 | 视觉用户 | 借助可选的视觉包回答关于图片的问题
更快的解码 | 显卡用户 | 在 CUDA 上用附带的草稿层得到无损的 1.37x 提速

如何设置：你需要 Python 来使用下载工具，还需要包含 1-bit 内核的 llama.cpp 构建。权重约 3.9 GB，如果要输入图片再加 0.63 GB。

• Windows、macOS 或 Linux 上的 Python
• huggingface_hub 包
• 模型卡里链接的作者 llama.cpp 分支，为 CUDA、Metal 或 CPU 构建
• 放权重的空间，在完整 262K 窗口下还要约 4.3 GB 的缓存

1. 安装 huggingface_hub。
2. 下载模型文件。
3. 构建作者的 llama.cpp 分支，并让它指向 GGUF 文件。

pip install -U huggingface_hub
hf download prism-ml/Bonsai-27B-gguf

如何使用：可见的模型卡给出了下载这一步，但没有运行命令。它指向作者的演示仓库来做部署和基准测试，并指向一份白皮书说明方法。你的构建加载文件后，就可以像用任何本地模型一样和它聊天。它还附带一个用于推测解码的草稿层。

版本 | 运行环境 | 大小
GGUF 1-bit，本仓库 | CUDA、Metal 或 CPU 上的 llama.cpp | 约 3.9 GB
MLX 1-bit | Apple Silicon，包括 iPhone | 未说明
三值 GGUF | llama.cpp | 约 7.2 GB

示例：你在带 1-bit 内核的构建里加载 GGUF，问一个数学或编码问题。模型会推理一遍，然后写出答案。作者在 Apple M5 Pro 笔记本上测得约每秒 44 个词元。

新手与专家：如果你刚接触这类模型，可以把它想成一个庞大的模型，通过把每个权重存成单个比特，被压进了一个小文件。第一次可以先做下载这一步，等有了兼容的构建，再问一个简短的问题。

对熟悉这个领域的人来说，每个权重是一个符号位，每 128 个权重共用一个 FP16 缩放值，合起来是每个权重 1.125 比特。嵌入、注意力、MLP 和 LM 头都是二值的，视觉塔使用 4-bit HQQ。一个约 75% 为线性注意力的混合主干让缓存保持较小。

Title: 以 GB 计的大小
FP16 original: 54 GB
Ternary Bonsai: 7.2 GB
1-bit Bonsai: 3.9 GB

你下载 GGUF 文件
带 1-bit 内核的构建加载打包好的权重
草稿层提前给出候选词元
模型检查它们并写出答案

注意事项：质量数字来自作者。在 15 个思考模式基准测试上，他们报告平均 76.11，相当于 FP16 的 89.5%。

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你输入的提示词和下载的文件，只有加载视觉包时才会涉及图片
• Not for: 没有作者 1-bit 内核的运行环境，或需要完整 FP16 质量的工作

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：llama.cpp
• 参数量：26.9B
• Weights: about 13.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：179,818
• 点赞：945
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-27B
• Quantized versions: 8
• Fine-tunes: 7
• 标签：llama.cpp, gguf, conversational, 1-bit, llama-cpp, cuda, metal, on-device, hybrid-attention, prismml, bonsai, text-generation

链接

• 模型：https://huggingface.co/prism-ml/Bonsai-27B-gguf
• 文件：https://huggingface.co/prism-ml/Bonsai-27B-gguf/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download prism-ml/Bonsai-27B-gguf

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。