Bonsai-1.7B-GGUF

Bonsai-1.7B-GGUF

用一个每个权重只占 1 比特、约 0.24 GB 的 1.7B 语言模型生成文本，适用于 CUDA、Metal 和 CPU 上的 llama.cpp。适合需要微型本地模型的开发者。

由 prism-ml 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Bonsai-1.7B 是一个小型文本生成模型，每个权重，包括嵌入层和输出头，都只用 1 比特存储。它采用 Qwen3-1.7B 的设计，封装成 GGUF Q1_0 格式。权重约占 0.24 GB，而 FP16 要 3.44 GB，它可以在 CUDA、Metal 和 CPU 上用 llama.cpp 运行。

适合谁：适合需要在小设备或小内存里运行语言模型，并且愿意使用作者的 llama.cpp 分支的开发者。

行业 | 谁在用 | 怎么用 | 例子
移动应用 | 应用开发者 | 在手机或平板上运行小模型 | 说明页列出了面向 iPhone 和 iPad 的 Swift，以及 Android
边缘计算 | 嵌入式工程师 | 把语言模型塞进很紧的内存 | 在小机器上加载一个 0.24 GB 的模型
爱好者项目 | 本地 AI 折腾者 | 在笔记本上试 1 位模型 | 在 Mac 上通过 llama.cpp 和模型聊天

需要最佳回答质量的人可以跳过，因为 1 位的 1.7B 模型是拿质量换体积。

用在哪里：

• CUDA GPU 上的 llama.cpp，包括 RTX 和数据中心显卡。
• Metal 上的 llama.cpp，适用于 Mac。
• CPU 上的 llama.cpp。
• iPhone 和 iPad 上的 Swift，以及 Android。
• Windows、macOS 或 Linux：下载步骤在这三个系统上都能用 Python 完成。

使用场景 | 谁用 | 得到什么
设备端聊天 | 应用开发者 | 来自约 0.24 GB 模型的文本回复
低内存服务器 | 工程师 | 只占 FP16 一小部分内存就能加载的语言模型
速度测试 | 折腾者 | 说明页称在 RTX 4090 上比 FP16 最多快 3.0 倍

如何设置：

先准备好：

• Python 和 pip，用来下载文件。
• PrismML 的 llama.cpp 分支，里面有这个模型需要的 Q1_0 内核。
• 一块 CUDA GPU、带 Metal 的 Mac，或者 CPU。

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载这个仓库。
3. 按说明页的描述，针对你的硬件构建 PrismML 的 llama.cpp 分支。
4. 用这个构建运行 GGUF 文件。

pip install -U huggingface_hub
hf download prism-ml/Bonsai-1.7B-gguf

如何使用：

用这个分支的 llama.cpp 工具运行文件。一句简短的系统提示词就可以，说明页建议使用下面的采样设置。

You are a helpful assistant

Title: 建议的生成设置
参数 | 默认值 | 建议范围
Temperature | 0.5 | 0.5 到 0.7
Top-k | 20 | 20 到 40
Top-p | 0.9 | 0.85 到 0.95
Repetition penalty | 1.0 | 未给出

示例：

你在这个分支的 llama.cpp 里用上面的系统提示词启动模型，问一个简短的问题。它返回一段纯文本回答，这是由一个不到 0.3 GB 的文件生成的。

新手与专家：

大多数语言模型用 16 比特存每个数字，这个模型用 1 比特，所以文件才这么小。一个好的第一步是下载文件，在 llama.cpp 的这个分支里和它聊几句。

在 Q1_0 里，每个权重只保留符号，0 表示负，1 表示正。每 128 个权重共用一个 FP16 缩放。这样算下来，平均每个权重 1.125 比特。它的设计是 Qwen3-1.7B，有 28 层、分组查询注意力，上下文为 32,768 词元。代价是你需要有针对这种格式的运行时内核。

下载 Q1_0 GGUF 文件
构建 PrismML 的 llama.cpp 分支
在 CUDA、Metal 或 CPU 上加载文件
用建议的设置生成文本

注意事项：说明页列出了三种格式下仅权重的大小。

Title: 各格式的权重内存
FP16: 3.44 GB
MLX 1-bit g128: 0.27 GB
GGUF Q1_0: 0.24 GB

• 文件大小：磁盘上的文件是 0.25 GB，比单独的权重稍大，因为文本处理数据和元数据也一起打包在里面。
• 规模：17 亿参数，不含嵌入层约 14 亿。
• MLX：另有一个面向 Apple Silicon 的 1 位版本。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务。说明页还链接了一个 Colab 笔记本，可以在浏览器里试用。
• Data it reaches: 你从 Hugging Face 下载的文件，以及你输入的提示词。
• Not for: 没有 Q1_0 内核的运行时，因为说明页指向的是 PrismML 的分支。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：llama.cpp
• 参数量：1.7B
• Weights: about 860 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：173,963
• 点赞：100
• 许可证：apache-2.0
• 基于：prism-ml/Bonsai-1.7B-unpacked
• Quantized versions: 3
• Fine-tunes: 3
• 标签：llama.cpp, gguf, 1-bit, llama-cpp, cuda, metal, on-device, prismml, bonsai, text-generation, conversational

链接

• 模型：https://huggingface.co/prism-ml/Bonsai-1.7B-gguf
• 文件：https://huggingface.co/prism-ml/Bonsai-1.7B-gguf/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download prism-ml/Bonsai-1.7B-gguf

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。