OpenBonsai Qwen3.5-9B Ternary
webbrain-one · 工具包
用约 2 GB 的 GGUF 文件运行被压缩成三值权重的 Qwen3.5-9B,可在两个 llama.cpp 变体里用 CPU 运行。适合尝试极端压缩的研究预览版。
新上架
webbrain-one · 工具包
用约 2 GB 的 GGUF 文件运行被压缩成三值权重的 Qwen3.5-9B,可在两个 llama.cpp 变体里用 CPU 运行。适合尝试极端压缩的研究预览版。
oguzeldereli · 工具包
用一个 40.4 GB 的 GGUF 文件运行被压成三值权重的 180B 混合专家模型 Qwen3.8-Flash-Next,比 FP8 版本小 4.6 倍。适合配合打过补丁的 llama.cpp 在本地使用。
oguzeldereli · 工具包
把 Qwen3.8-27B 压缩成三值权重的 GGUF 文件,可在 12 GB 显卡上运行,有 8.2 GB 和 6.74 GB 两个版本。适合想在普通硬件上跑大型本地模型的人。