gemma-4-31b-it-exl3-optimized

gemma-4-31b-it-exl3-optimized

提供为 Gemma 4 31B-it 构建任意码率的优化 EXL3 量化版本所需的测量数据和配方。适合用 exllamav3 做量化，并想跳过耗时测量步骤的人。

由 Dino0040 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库不是现成的模型。它保存了 exllamav3 针对 google/gemma-4-31B-it 的优化量化配方的流程输出。有了这些文件，你可以按任意码率构建优化的 EXL3 量化版本。最耗时的部分，也就是约一小时、需要大约 120 GB 显存的敏感度测量，已经完成。另有一个分支提供 3.00bpw 的量化版本，供只想测试的人使用。

适合谁：用 exllamav3 对大型模型做量化，并希望在不重做测量的情况下得到更好的比特分配的人。

Industry | Who uses it | How they use it | Example
模型托管 | 部署大型模型的工程师 | 按适合自己 GPU 的码率构建量化版本 | 做一个能放进单张显卡的 3 位量化版本
开源模型社区 | 量化爱好者 | 复用这些测量数据来尝试其他码率 | 为另一个每权重比特数的目标生成配方
研究 | 研究量化误差的人 | 比较均匀分配和优化分配的比特 | 复现模型卡里的 KL 散度对比

如果你想马上拿来对话，或者没有显存超过 20 GB 的 GPU 来完成转换步骤，可以跳过它。

用在哪里：它配合 exllamav3 项目及其脚本使用。文件可以在 Windows、macOS 或 Linux 上下载。

• exllamav3：它的优化和转换脚本会用到这些文件
• 显存超过 20 GB 的 GPU，用于转换
• 原始的 google/gemma-4-31B-it 权重，作为转换的输入

Use case | Who | What they get back
自定义码率的量化 | 做量化的人 | 按你的目标码率根据配方得到的量化版本
快速测试 | 好奇的人 | 分支上现成的 3.00bpw 量化版本
方法对比 | 研究者 | 比较均匀量化和优化量化的数字

如何设置：你需要 exllamav3 脚本和原始的 Gemma 权重，再加上这个仓库里的文件。

• 带 pip 的 Python
• exllamav3 及其脚本
• 原始的 google/gemma-4-31B-it 权重
• 显存超过 20 GB 的 GPU

1. 安装 Hugging Face hub 库。
2. 下载这个仓库里的文件。
3. 用你自己的路径和码率运行下面两步。

pip install -U huggingface_hub
hf download Dino0040/gemma-4-31b-it-exl3-optimized

如何使用：先为你的目标码率生成配方，几乎是瞬间完成。然后用这个配方和轨迹数据作为校准数据来转换模型，视 GPU 而定需要一到两小时。

# 1. Recipe for your target bitrate (basically instant)
python sc_optimize.py -m noise_attrib.json -rr rfn_2.00bpw.json -b <bpw> -hb 6 -al 2.0 -mink 2 -ks 0.5 -maxk 4 -o recipe.yaml

# 2. Convert with the recipe and the trace as calibration data (>20GB VRAM, An hour or two depending on GPU)
python convert.py -i <gemma-4-31B-it> -o <out> -w <work> -rcp recipe.yaml -cd cal_trace.safetensors

Tool | What it does
sc_optimize.py | 根据测量数据为目标码率生成配方
convert.py | 用配方和校准轨迹转换模型
-ks 0.5 | 允许半比特码率，需要同时使用 -maxk 4
-mink 2 | 让每个张量保持在每权重 2 比特或以上

示例：你选择每权重 3.5 比特作为目标，替换第一条命令里的占位符，并运行两步。最后你会得到一个用优化配方做出的 Gemma 4 31B-it 的 EXL3 量化版本。

新手与专家：如果你刚接触这类模型，量化版本是模型的一个更小的副本，用一点准确度换取更少的内存。如果你只想试一个，就用 3.00bpw 分支，跳过这些脚本。

如果你熟悉这个领域，这些文件包括模型自己采样的校准轨迹、逐张量的敏感度测量，以及来自 2 bpw 探测的误差锚点。配方决定每个张量分到多少比特，转换时用轨迹作为校准数据。

在完整模型上测量敏感度
配方为每个张量设定比特数
转换使用配方和轨迹
得到优化的 EXL3 量化版本

注意事项：作者说这是出于好奇、用一个晚上和大约五美元的云算力做的实验，并且不自称专家。下面的数字是作者的，来自 3.00 bpw 对比 bf16 模型的测试。

Title: 模型卡在 3.00 bpw 下的测试，KL 越低越好
Quant | Mean KL | Perplexity
Uniform quant from July | 0.0561 | 1.2497
Optimized recipe | 0.0381 | 1.2276
Recipe plus trace calibration | 0.0301 | 1.2187

模型卡称，在与旧量化版本相同大小的情况下，KL 散度总共下降 46%。

• License: Apache 2.0
• Cost to run: 使用这些文件未提及费用。转换需要显存超过 20 GB 的 GPU
• Data it reaches: 你让脚本处理的模型权重和校准轨迹
• Not for: 当作现成可运行的模型使用，因为仓库里是配方和测量文件

Hugging Face 上的数据（2026年11月13日）

• 最近 30 天下载：41
• 点赞：2
• 许可证：apache-2.0
• 基于：google/gemma-4-31B-it
• 标签：exl3

链接

• 模型：https://huggingface.co/Dino0040/gemma-4-31b-it-exl3-optimized
• 文件：https://huggingface.co/Dino0040/gemma-4-31b-it-exl3-optimized/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Dino0040/gemma-4-31b-it-exl3-optimized

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。