Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件，约 13 GB 和 15 GB，而不是 69 GB，适合用 llama.cpp 运行本地模型的人。

由 pfeifferj 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这些是 Ornith-1.5-35B-A3B 的压缩 GGUF 副本，这是 Qwen3.5 家族的混合专家文本模型，约有 35B 参数。它们有 3 位和 3.5 位两种大小，约 13 GB 和 15 GB，而 BF16 原版是 69 GB。一位独立的社区成员用已发表的 GSQ 和 RCO 方法制作了它们，它们不是这些方法作者的官方发布。

适合谁：如果你用 llama.cpp 运行本地模型，想把大模型压成更小的下载，它适合你。

Title: Who uses this model
行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在本地运行大型编程和聊天模型 | 用 llama-server 为应用提供服务
研究 | 量化研究人员 | 研究低位压缩的结果 | 把 3 位和 3.5 位版本与 BF16 对比
自托管 | 爱好者 | 在配置一般的硬件上装下大模型 | 磁盘空间紧张时选 3 位文件

如果你需要 BF16 原版的确切质量，可以跳过它，因为模型卡的测试里压缩版本的分数更低。

用在哪里：

• llama.cpp，通过 llama-server
• 其他能打开 GGUF 文件的程序
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Title: Jobs it does
用途 | 适合谁 | 得到什么
本地聊天 | 任何人 | 在你自己机器上运行的模型给出的文字回复
本地 API | 开发者 | 其他程序可以调用的服务器
压缩研究 | 研究人员 | 每种大小的困惑度和 MMLU-Pro 数字

如何设置：你需要 Python 来下载，以及一个 llama.cpp 构建。作者是用某一个特定的上游 llama.cpp 提交测试的，所以用较新的构建比较稳妥。

• 带 pip 的 Python
• 一个包含 llama-server 的可用 llama.cpp 构建
• 约 15.2 GB 的磁盘空间放 3.5 位文件，或 13.0 GB 放 3 位文件

1. 安装 huggingface_hub。
2. 下载你想要的 GGUF 文件。
3. 用模型文件和下面的设置启动 llama-server。

pip install -U huggingface_hub

hf download pfeifferj/Ornith-1.5-35B-A3B-GSQ-RCO-GGUF Ornith-1.5-35B-A3B-GSQ-RCO-3.5bit.gguf --local-dir .

llama-server -m Ornith-1.5-35B-A3B-GSQ-RCO-3.5bit.gguf \
  -ngl 999 -c 8192 -fa on -ctk f32 -ctv f32 --jinja \
  --temp 0.6 --top-p 0.95 --top-k 20 \
  --chat-template-kwargs '{"preserve_thinking":true}'

如何使用：llama-server 运行起来后，你可以直接和它聊天，也可以从应用里调用它。命令里的采样值是 Ornith 推荐的。思考默认开启，你可以在聊天模板参数里把 enable_thinking 设为 false 来关闭它。

Title: Main command pieces
工具 | 作用
hf download | 把一个 GGUF 文件下载到当前文件夹
llama-server | 在你的机器上提供模型服务
--temp、--top-p、--top-k | 设置模型卡推荐的采样值
--chat-template-kwargs | 让模型的推理过程在多轮对话中保持可见

示例：你下载 3.5 位文件，并用上面的命令启动服务器。然后你发送一个推理问题。模型先思考，再用文字回复，因为思考默认开启。

新手与专家：量化就是用更少的位数存放模型的数字，让文件变小。这个模型本来就很大，所以小文件让它更容易运行。第一次小测试就是用上面的命令加载 3 位文件。

GSQ 通过 Gumbel-Softmax 松弛来学习每个权重怎么取整和缩放。RCO 在精确的总大小预算下，为每个张量挑选量化类型。模型卡与匹配的初始化版本和原生 imatrix 版本做了对比。困惑度在 3 位时比 BF16 高 3.7%，在 3.5 位时高 1.4%。

BF16 的 Ornith-1.5-35B-A3B
GSQ 学习取整方式
RCO 为每个张量分配类型
3 位和 3.5 位的 GGUF 文件

注意事项：在 MMLU-Pro 上，模型卡报告 BF16 为 47.60%，3 位版本为 43.70%，3.5 位版本为 43.20%。两个 GSQ 版本的分数都低于各自匹配的初始化版本。这些文件只包含文本模型，加上分词器和聊天模板。

Title: File size by build
BF16 原版: 69.4 GB
GSQ-RCO 3.5 位: 15.2 GB
GSQ-RCO 3 位: 13.0 GB

• License: MIT。
• Cost to run: 未提及。
• Data it reaches: 文件来自 Hugging Face，之后模型在你自己的电脑上运行。
• Not for: 期望 BF16 质量的人，或者需要图片的场景，因为这些文件只包含文本模型。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：34.7B
• Weights: about 17.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：11,634
• 点赞：30
• 许可证：mit
• 基于：ornith-ai/Ornith-1.5-35B-A3B
• 标签：gguf, quantization, mixed-precision, text-generation, conversational

链接

• 模型：https://huggingface.co/pfeifferj/Ornith-1.5-35B-A3B-GSQ-RCO-GGUF
• 文件：https://huggingface.co/pfeifferj/Ornith-1.5-35B-A3B-GSQ-RCO-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download pfeifferj/Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。