Bonsai-1.7B-unpacked

Bonsai-1.7B-unpacked

1 位 Bonsai-1.7B 模型的 FP16 safetensors 副本，用于在标准 Hugging Face 工具里运行它。模型卡建议改用原生 1 位版本，那些版本更小也更快。

由 prism-ml 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库收录了 Bonsai-1.7B，一个约 1.7B 参数的模型，从 1 位形式解包成了 FP16 safetensors。它的存在是为了让你在普通的 Hugging Face 工具里，或在还读不了 1 位权重的框架里运行 Bonsai。FP16 文件约 3.4 GB。

适合谁：它适合需要在标准 Hugging Face 环境里使用 Bonsai、又暂时用不了 1 位版本的开发者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在不支持 1 位的框架里加载 Bonsai | 在现有流程里用提示词测试模型
研究 | 机器学习研究人员 | 以普通 FP16 形式处理权重 | 用常用的 Hugging Face 工具检查文件
工具开发 | 框架维护者 | 在 1 位内核到来之前检查自己的工具如何处理这个模型 | 通过标准加载器运行它

能运行原生 1 位模型的人应该跳过这个副本，因为模型卡推荐那些。

用在哪里：只要能加载 Hugging Face safetensors 模型的地方，你都可以使用它。

• 标准 Hugging Face 工具，以及没有原生 1 位支持的框架
• Windows、macOS 或 Linux，配合 Python，用来下载文件
• 推荐的 1 位版本：CUDA、Metal 或 CPU 上的 llama.cpp，以及 Apple Silicon 上的 MLX

Use case | Who | What they get back
在标准工具里运行 Bonsai | 开发者 | 以完整 FP16 大小运行的模型
研究权重 | 研究人员 | 在哪里都能打开的普通 safetensors 文件
在 1 位支持到来之前过渡 | 工具维护者 | 一个现在就能加载的替身

如何设置：安装只是下载，仅此而已。

• Python，用于 Hugging Face hub 工具
• 存放 FP16 文件的磁盘空间，约 3.4 GB

1. 安装 Hugging Face hub 工具。
2. 下载仓库文件。
3. 用你常用的 Hugging Face 工具加载模型。

pip install -U huggingface_hub
hf download prism-ml/Bonsai-1.7B-unpacked

如何使用：模型卡没有给出运行命令。你像加载任何 Hugging Face safetensors 模型一样加载这些文件。想在内存和速度上得到更好的结果，模型卡指向两个原生 1 位版本。

Tool | What it does
Bonsai-1.7B GGUF Q1_0 | 一个 1 位 GGUF 文件，可在 CUDA、Metal 或 CPU 上用 llama.cpp 运行
Bonsai-1.7B MLX 1-bit | 面向 Apple Silicon 的 1 位 MLX 版本

示例：你想在一个不支持 1 位的框架里试用 Bonsai。你下载这个 FP16 副本，像加载任何 Hugging Face 模型一样加载它，再运行你的提示词。它能以完整大小运行，但没有 1 位版本在内存和速度上的好处。

新手与专家：1 位版本是紧凑的那个。这个仓库是同一个模型，被展开回 FP16，好让普通工具能打开它。如果你的工具能读 GGUF 或 MLX，就用 1 位版本，否则下载这一个。

如果你熟悉这个领域，1 位内核在作者自己的 MLX 和 llama.cpp 分支里。模型卡说，等这些进入上游之后，这个解包副本就不再需要了。模型卡声称 1 位格式最多能把内存占用降到原来的十四分之一，速度约快三倍，每个词元的能耗也更低。它说这个 FP16 副本没有这些好处。

1 位 Bonsai 权重
解包成 FP16 safetensors
由标准 Hugging Face 工具加载
以完整大小运行

注意事项：记录估算 4-bit 副本约 860 MB。模型卡没有点名语言、任务或基准测试。

• License: Apache-2.0
• Cost to run: 没有提到
• Data it reaches: 它从 Hugging Face 下载文件。模型卡没有提到账号、网络或剪贴板访问。
• Not for: 能运行原生 1 位模型的人，模型卡推荐那些而不是这个副本

Hugging Face 上的数据（2026年11月13日）

• 参数量：1.7B
• Weights: about 3.4 GB in F16; about 860 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：2,362
• 点赞：15
• 许可证：apache-2.0
• Quantized versions: 13
• Fine-tunes: 4
• 标签：safetensors, qwen3, prismml, bonsai

链接

• 模型：https://huggingface.co/prism-ml/Bonsai-1.7B-unpacked
• 文件：https://huggingface.co/prism-ml/Bonsai-1.7B-unpacked/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download prism-ml/Bonsai-1.7B-unpacked

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。