gemma-4-26B-A4B-it Cactus CQ

gemma-4-26B-A4B-it Cactus CQ

Google gemma-4-26B-A4B-it 聊天模型的 2 位、3 位和 4 位压缩副本，使用 Cactus 权重格式。专为通过 Cactus 运行时在 ARM 设备上运行而做。

由 Cactus-Compute 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库里有 Cactus-Compute 做的三个 google/gemma-4-26B-A4B-it 压缩版本。它们每个权重用 2 位、3 位和 4 位，以 Cactus 权重格式存储，用来在 ARM 设备上运行。

2 位和 3 位版本做了校准，在体积小得多的情况下，质量仍接近原模型。4 位版本用的是没有校准的普通就近取整。

适合谁：适合开发直接在 ARM 设备上运行大型聊天模型、并使用 Cactus 运行时的应用的开发者。这个模型是混合专家结构，文件也是按这一点来设计的。

Industry | Who uses it | How they use it | Example
移动应用 | 应用开发者 | 在设备上而不是服务器上运行聊天模型 | 一个不联网也能回答的 ARM 手机应用
嵌入式系统 | 硬件工程师 | 把大型模型塞进有限的内存 | 给小设备选 2 位文件
研究 | 量化研究人员 | 研究针对专家模型的校准低位方法 | 对比不同位宽的困惑度
注重隐私的团队 | 产品团队 | 让提示词留在设备上 | 一个从不把文字发出去的助手

如果你需要 x86 桌面推理或普通的 Transformers 检查点，可以跳过它，因为模型卡只涉及 Cactus 的 ARM 运行时。

用在哪里：

• ARM 设备，通过 Cactus 运行时。
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件。

Use case | Who | What they get back
设备端聊天 | 应用开发者 | 在 ARM 硬件上本地生成的文字回复
体积调节 | 工程师 | 可以选择每个权重 2 位、3 位或 4 位
质量对比 | 研究人员 | 每个版本公布的困惑度

如何设置：你需要 ARM 版 Cactus 运行时，这个页面没有介绍它，另外下载时需要 Python。

• 用来下载的电脑上的 Python
• huggingface_hub 包
• 装有 Cactus 运行时的 ARM 设备
• 接受 Gemma 许可条款

1. 安装 Hugging Face 工具。
2. 下载整个仓库，或者只下载你想要的位宽对应的文件。
3. 解压后在设备上的 Cactus 运行时里加载它。

pip install -U huggingface_hub
hf download Cactus-Compute/gemma-4-26B-A4B-it

如何使用：在三个压缩文件里选一个，在 Cactus 运行时里加载，然后像用原模型一样和它聊天。模型卡没有给出运行时本身的命令。

三个文件分别是：整体约每个权重 2.36 位的 2 位校准版、3 位校准版，以及 4 位就近取整版。

示例：一位开发 ARM 应用的开发者下载 3 位文件，在 Cactus 运行时里加载，并在聊天里提一个问题。回复在设备上生成。模型卡没有说明预期的速度。

Title: 留出数据的困惑度，越低越好
bf16 基线: 7.25 PPL
2 位校准: 6.81 PPL
3 位校准: 6.32 PPL
4 位 RTN: 6.00 PPL

新手与专家：如果你刚接触，量化就是用更少的位数存储模型的数字，让模型占用更少内存。模型卡测量了每个版本预测留出答案的好坏，困惑度越低越好。如果设备放得下，先从 4 位文件开始。

对专家来说，方法是带逐组 Hadamard 旋转的码本量化。2 位和 3 位文件还加入了 AWQ 风格的激活缩放，以及感知路由的 GPTQ 步骤，因此每个专家都用路由到它的标记来校准。嵌入用 4 位码本，范数、路由器和偏置保持 FP16。校准用了约 200 万个来自 WildChat 和 AceCode 的标记，由模型在开启思考时生成。4 位版本跳过校准，因为在那里校准反而让结果更差。未校准的 2 位和 3 位取整，困惑度分别是 33,827 和 32.56，模型卡还说明有约两点的噪声。

从 google/gemma-4-26B-A4B-it 出发
用各自路由到的标记校准每个专家
量化到 2 位、3 位或 4 位
把权重打包成 Cactus 压缩文件
用 Cactus 运行时在 ARM 上运行

注意事项：下面几点说明了限制和成本。

• Format: 这些文件只能配合 ARM 上的 Cactus 运行时使用。
• License: Gemma，也就是基础模型列出的许可。
• Cost to run: 没有提到 API 密钥或付费服务。
• Data it reaches: 除了你发给它的提示词，没有别的。下载文件需要连接 Hugging Face。
• Not for: 其他运行时，或者不是 ARM 的设备。

Hugging Face 上的数据（2026年11月14日）

• 任务：text generation
• 最近 30 天下载：41
• 点赞：6
• 许可证：gemma
• 基于：google/gemma-4-26B-A4B-it
• 标签：gemma4, cactus, quantized, on-device, text-generation

链接

• 模型：https://huggingface.co/Cactus-Compute/gemma-4-26B-A4B-it
• 文件：https://huggingface.co/Cactus-Compute/gemma-4-26B-A4B-it/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Cactus-Compute/gemma-4-26B-A4B-it

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。