开发者 AI 技能与智能体

Bonsai-1.7B-unpacked

prism-ml · 工具包

1 位 Bonsai-1.7B 模型的 FP16 safetensors 副本，用于在标准 Hugging Face 工具里运行它。模型卡建议改用原生 1 位版本，那些版本更小也更快。

1-bit Bonsai 27B (MLX)

prism-ml · 工具包

在 Apple MLX 上运行一个每个权重压成 1 比特、约 3.9 GB 的 27B 级推理模型，上下文 262K 词元。适合想在手机或笔记本上用大模型的开发者。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

bitnet.cpp 1 比特推理框架

microsoft · 工具包

微软官方的 1 比特大模型推理框架，基于 llama.cpp。它能在 x86 和 ARM CPU 上运行 BitNet b1.58 这类三值模型，也有 GPU 内核。这份说明涵盖 Windows、Linux、GPU 内核和嵌入模型的安装步骤。