gemma-4-31B-it-qat-GGUF

gemma-4-31B-it-qat-GGUF

用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型，自带用于推测解码的草稿模型，可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Gemma 4 31B 指令微调模型的 GGUF 版本，出自 Google DeepMind，由 Unsloth 打包。它来自 Q4_0 的量化感知训练检查点，模型卡称这能让质量接近 bfloat16，同时大幅减少所需内存。Gemma 4 接收文字和图片，输出文字，上下文最长 256K 个 token。仓库里还附带一个用于推测解码的草稿模型文件。

适合谁：它适合想在自己硬件上通过 llama.cpp 运行 30.7B 多模态模型的开发者和团队，也适合研究量化感知检查点的研究者。

行业 | 使用者 | 用法 | 例子
软件 | 开发者 | 用 llama-server 加推测解码来提供服务 | 运行模型卡里的命令并向它发提示词
研究 | 机器学习研究者 | 研究在量化过程中训练出的 Q4_0 检查点 | 与 bfloat16 的运行结果对比
自托管 | 拥有大内存机器的团队 | 把 31B 模型放在自己的服务器上 | 不用托管 API，就能处理文字和图片提示

放不下约 15.3 GB 权重的人可以跳过，QAT 系列还有更小的规格，比如 E2B、E4B 和 12B。

用在哪里：

• llama.cpp 的 llama-server
• Unsloth Studio，模型卡称可以在其中运行和微调 Gemma 4
• Windows、macOS 或 Linux，用 Python 就能下载文件

使用场景 | 谁用 | 得到什么
部署大型本地模型 | 开发者 | 对文字或图片提示的文字回答
用草稿模型加速生成 | 开发者 | 与不用草稿模型时相同的输出，因为主模型会检查每个草稿 token
试用 QAT 检查点 | 研究者 | 为经受量化而构建的 Q4_0 权重

如何设置：

• 装有 pip 的 Python，用于下载
• 带有 llama-server 的较新 llama.cpp 构建
• 约 15.3 GB 的 4 比特权重所需的内存，为估算值

1. 安装 Hugging Face 的 hub 客户端。
2. 可以选择先下载仓库里的文件，因为下面命令里的 -hf 参数可以直接指定仓库。
3. 用模型卡里的命令启动 llama-server。

pip install -U huggingface_hub
hf download unsloth/gemma-4-31B-it-qat-GGUF

如何使用：在你的 llama.cpp 目录里运行模型卡里的 llama-server 命令。较新的 llama.cpp 会自己在仓库根目录里找到草稿模型文件，所以你不用再指定草稿模型。

./build/bin/llama-server \
  -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \
  --spec-type draft-mtp --spec-draft-n-max 4 \
  -ngl 999 -fa on

工具 | 作用
llama-server | 为你的提示词提供服务
-hf | 指定要加载的仓库和 UD-Q4_K_XL 档位
--spec-type draft-mtp | 用多 token 预测草稿模型开启推测解码
--spec-draft-n-max 4 | 把草稿上限设为 4

示例：你用上面的命令启动服务器并发送一条提示词。草稿模型提出若干 token，31B 模型逐个检查，所以你得到的文字与不用草稿模型时一样。

新手与专家：量化感知训练意味着模型是在考虑 4 比特压缩的情况下学出来的，所以损失的质量更少。先照模型卡的命令原样运行，再发一个简单问题。

草稿模型是一个接近无损的 Q4_0 文件，名为 mtp-gemma-4-31B-it.gguf，并与主模型共用 KV 缓存。模型卡列出了覆盖各个 Gemma 4 规格的四类 QAT 检查点。

变体 | 格式 | 适用于
未量化的 QAT 检查点 | 半精度的 Q4_0 | 自定义编译和研究
GGUF | Q4_0 | 适用于许多工具的即用文件，如本仓库
移动端优化 | wNa8o8 | 移动硬件，适用于 E2B 和 E4B
Compressed Tensors | w4a16 | 用 vLLM 做优化推理

草稿模型提出若干 token
31B 模型逐个检查
被接受的 token 加入回复
输出保持不变

注意事项：

• 上下文：最长 256K 个 token
• 输入：文字和图片，音频只在 E2B、E4B 和 12B 上支持
• 体积：30.7B 参数，4 比特约 15.3 GB，为估算值
• 语言：140 多种
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: -hf 参数指定的 Hugging Face 仓库，以及你发送的提示词和图片
• Not for: 模型卡中未提及

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：30.7B
• Weights: about 15.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：79,933
• 点赞：226
• 许可证：apache-2.0
• 基于：google/gemma-4-31B-it-qat-q4_0-unquantized
• Quantized versions: 1
• 标签：transformers, gguf, gemma4, image-text-to-text, unsloth, gemma, google, conversational

链接

• 模型：https://huggingface.co/unsloth/gemma-4-31B-it-qat-GGUF
• 文件：https://huggingface.co/unsloth/gemma-4-31B-it-qat-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/gemma-4-31B-it-qat-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。