OpenBonsai Qwen3.5-9B Ternary

OpenBonsai Qwen3.5-9B Ternary

用约 2 GB 的 GGUF 文件运行被压缩成三值权重的 Qwen3.5-9B，可在两个 llama.cpp 变体里用 CPU 运行。适合尝试极端压缩的研究预览版。

由 webbrain-one 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：OpenBonsai Qwen3.5-9B Ternary 是 webbrain-one 用开源的 OpenBonsai 压缩框架把 Qwen3.5-9B 缩成三值权重的版本。每个权重只取三个值之一，整个模型是一个约 2 GB 的 GGUF 文件。它只处理文本，这是研究预览版的第二个发布。

适合谁：它适合想看看 9B 模型在三值权重下表现如何的研究者和爱好者，也适合想在只有 CPU 的机器上用小模型的开发者。

行业 | 使用者 | 用法 | 例子
研究 | 压缩研究者 | 测试 9B 模型在三值权重下的表现 | 与第一个发布版对比
边缘计算 | 只有 CPU 的开发者 | 在约 2 GB 内存里试用 9B 模型 | 在笔记本上用 llama-server 运行
教育 | 模型压缩的学习者 | 研究被压缩到三种权重取值的模型 | 阅读权重是如何分组的

需要成品，或需要能读图片的模型的人可以跳过，因为这是只处理文本的研究预览版。

用在哪里：

• Prism 的 llama.cpp 分支，模型卡测试过的两个运行时之一
• ik_llama.cpp，另一个测试过的运行时，它加入了对这种格式的支持
• CPU，因为模型卡测试的是 CPU 构建，并称 CUDA 构建未经测试
• Windows、macOS 或 Linux，用 Python 就能下载文件

使用场景 | 谁用 | 得到什么
本地文字聊天 | 爱好者 | 在 CPU 上从一个很小的文件得到文字回复
压缩研究 | 研究者 | 一个可与原模型对比测试的三值模型
代码实验 | 开发者 | 一个模型卡给出编码得分的小模型

如何设置：

• 装有 pip 的 Python，用于下载
• 构建 Prism 的 llama.cpp 分支或 ik_llama.cpp，因为上游 llama.cpp 不支持这种格式
• 为模型留出约 2 GB 的空闲内存

1. 安装 Hugging Face 的 hub 客户端。
2. 下载模型的文件。
3. 从源代码构建两个运行时中的一个。
4. 用那个运行时运行模型文件。

pip install -U huggingface_hub
hf download webbrain-one/openbonsai-qwen-3.5-9b

如何使用：用 llama-cli 运行模型文件，给它一条提示词和新 token 的数量上限，或者启动 llama-server 搭一个本地服务器。聊天模板已内置在文件里。Qwen3.5 的模板默认开启思考，模型卡称此时这个模型常常思考超过 4,096 个 token。

llama-cli -m OpenBonsai-Qwen3.5-9B-PTQ1_0.gguf -p "Explain why the sky is blue." -n 256

llama-server -m OpenBonsai-Qwen3.5-9B-PTQ1_0.gguf -rtr 1 -t 4 --port 8080

选项 | 作用
-m | 指定模型文件
-p | 给出提示词文本
-t 4 | 使用 4 个 CPU 线程
-rtr 1 | 加载时重新打包三值权重，供 ik_llama.cpp 的快速 CPU 内核使用

示例：你用模型卡自己的测试提示词 Explain why the sky is blue 运行 llama-cli，然后阅读写出的回答。模型卡里有位用户报告，在搭载 i5-13420H 处理器的笔记本上用 4 个线程，速度约为每秒 10 个 token。

新手与专家：三值的意思是每个权重只能是负一、零或正一，所以文件才这么小。把它当作一个实验，在依赖它之前先和普通模型的回答做对比。

权重按 128 个一组，每组配一个 fp16 缩放值，全部 202 个大矩阵都是三值的，包括嵌入层和输出头。它的布局与 Prism ML 的 Ternary-Bonsai-2-9B 一致。文件里没有视觉塔，也没有 MTP 层。

从 Qwen3.5-9B 出发
OpenBonsai 把它压缩成三值权重
得到一个约 2 GB 的 GGUF 文件
llama.cpp 的一个变体加载它
输入文字，输出文字

Title: 关闭思考时通过的 HumanEval 题数
Subset of 50, second release: 34
Subset of 50, first release: 19
Other 114, second release: 62
Other 114, first release: 45
Other 114 minus flagged 34, second release: 38
Other 114 minus flagged 34, first release: 26

注意事项：

• 状态：一个与 Prism ML 没有关联的独立项目的研究预览版
• 结果：模型卡称它的数学和代码仍落后于原模型，并提醒 50 题得 34 分的成绩很可能让模型在未见过的题目上显得更好
• 体积：文件约 2 GB，而记录里粗略的 4 比特估算约为 4.5 GB
• 运行时：只有 Prism 的分支和 ik_llama.cpp 能加载它，CUDA 构建未经测试
• 版本：两个发布版使用同一个文件名，只能靠校验和来区分
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你在自己电脑上给它的提示词，而下载和构建步骤会从网络获取文件
• Not for: 成品或图片输入，因为它是只处理文本的研究预览版

Hugging Face 上的数据（2026年11月13日）

• 框架：gguf
• 参数量：9B
• Weights: about 4.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：929
• 点赞：9
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-9B
• 标签：gguf, ternary, 1.58-bit, ptq1_0, qwen3.5, openbonsai, research-preview, conversational

链接

• 模型：https://huggingface.co/webbrain-one/openbonsai-qwen-3.5-9b
• 文件：https://huggingface.co/webbrain-one/openbonsai-qwen-3.5-9b/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download webbrain-one/openbonsai-qwen-3.5-9b

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。