1-bit Bonsai 27B (MLX)

1-bit Bonsai 27B (MLX)

在 Apple MLX 上运行一个每个权重压成 1 比特、约 3.9 GB 的 27B 级推理模型，上下文 262K 词元。适合想在手机或笔记本上用大模型的开发者。

由 prism-ml 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个由 Qwen3.6-27B 衍生出来的 27B 级语言模型，权重压到每个只占一个比特，格式面向 Apple MLX。压缩后的模型约占 3.9 GB，而 FP16 约为 54 GB。说明页称它在这个体量下仍保有推理和智能体能力，并称高端手机可以运行它。

适合谁：适合想在手机或内存有限的笔记本上使用大型推理模型，并且能用作者自定义内核的开发者。

行业 | 谁在用 | 怎么用 | 例子
移动应用 | 应用开发者 | 在设备本身上运行大模型 | 说明页称在 iPhone 17 Pro Max 上约 11 tok/s
笔记本 AI | Mac 开发者 | 在笔记本上运行大模型 | 说明页称在 M5 Pro 上生成速度约 44 tok/s
研究 | 低比特研究者 | 在 27B 规模上研究二值权重 | 看每个权重 1.125 比特在基准测试里表现如何

需要完整 FP16 准确度的人可以跳过，因为说明页称它在自己的测试集上约为 FP16 的 90%。

用在哪里：

• Apple Silicon 上 Python 版的 Apple MLX。
• iOS 和 macOS 上 Swift 版的 Apple MLX。
• CUDA，通过作者的 llama.cpp 分支。
• Windows、macOS 或 Linux：下载步骤在这三个系统上都能用 Python 完成。

使用场景 | 谁用 | 得到什么
手机端聊天 | 应用开发者 | 高端手机上 27B 级模型的文本回复
长上下文 | 开发者 | 262K 词元的窗口，靠 4 位 KV 缓存存储保持实用
图像输入 | 开发者 | 通过一个可选的 0.63 GB 视觉包支持图像

如何设置：

先准备好：

• Python 和 pip，用来下载文件。
• 一台用于 MLX 的 Apple Silicon 设备，或者带作者 llama.cpp 分支的 CUDA GPU。
• 作者的 MLX 或 MLX-Swift 分支，里面有 1 位内核。
• 模型约 3.9 GB，另外还要给上下文留空间。

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载这个仓库。
3. 用作者的 MLX 分支，或它的 Swift 或 CUDA 对应版本来运行。
4. 参照作者的演示仓库来部署和看示例代码。

pip install -U huggingface_hub
hf download prism-ml/Bonsai-27B-mlx-1bit

如何使用：

通过作者的内核运行模型，只有需要视觉时才传入图像。包里带有一个推测解码草稿层，说明页称它在 CUDA 路径上让解码快 1.37 倍，且不改变输出。说明页把你指向它的演示仓库，用于部署和跑基准。

示例：

你在 Apple Silicon 笔记本上加载模型，用思考模式让它解一道数学或编程题。说明页称在 M5 Pro 笔记本上生成约 44 tok/s，数学平均 91.66，编程平均 81.88。

新手与专家：

语言模型就是一大堆数字。这个模型只保留每个数字的符号，再给每 128 个一组配一个共用的缩放值，所以缩小了约 14 倍。一个好的第一步是读说明页的资源列表，并在 Mac 上试试演示仓库。

权重是二值的，取值为负一或正一，覆盖嵌入层、注意力、MLP 和输出头，每个权重 1.125 比特。注意力里约 75% 是线性的，所以完整注意力缓存只在 64 层中的 16 层上增长。视觉部分用 HQQ 4 位。代价是你要依赖自定义内核，而且说明页称它在 15 项思考基准上约为 FP16 的 89.5%。

下载打包好的 1 位权重
用自定义的 MLX 或 CUDA 内核加载
用 4 位 KV 缓存和草稿层生成
只有图像输入才加视觉包

注意事项：说明页比较了这个模型三个版本的部署大小。

Title: 部署大小
FP16: 54 GB
Ternary Bonsai 27B: 7.2 GB
1-bit Bonsai 27B: 3.9 GB

• 得分：15 项思考模式基准平均 76.11，约为 FP16 的 89.5%。
• 伴生版本：Ternary Bonsai 27B 是偏重质量的选项，约为 FP16 的 95%。
• 内核：说明页列出了 MLX、mlx-swift 和 llama.cpp 的分支。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务。
• Data it reaches: 你从 Hugging Face 下载的文件，以及你给它的提示词和图像。
• Not for: 没有 1 位内核的运行时，或需要精确 FP16 准确度的工作。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• 参数量：1.7B
• Weights: about 3.4 GB in F16; about 862 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,003,554
• 点赞：291
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-27B
• Quantized versions: 1
• Fine-tunes: 3
• 标签：safetensors, qwen3_5, conversational, 1-bit, cuda, metal, on-device, hybrid-attention, prismml, bonsai, text-generation

链接

• 模型：https://huggingface.co/prism-ml/Bonsai-27B-mlx-1bit
• 文件：https://huggingface.co/prism-ml/Bonsai-27B-mlx-1bit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download prism-ml/Bonsai-27B-mlx-1bit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。