gemma-4-31B-it-qat-q4_0-gguf

gemma-4-31B-it-qat-q4_0-gguf

把 Google 的 Gemma 4 31B 指令微调模型做成 4-bit GGUF 文件来运行，能读取文字和图片并用文字回答。适合有消费级显卡或工作站的开发者和爱好者。

由 google 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Google 的 Gemma 4 31B 指令微调模型的 GGUF 版本，经过量化感知训练后以 Q4_0 格式保存。它读取图片和文字，输出文字。

Google 说，这种训练让质量接近 bfloat16，同时减少模型需要的内存。GGUF 格式设计为能配合许多工具，所以你不需要完整大小的权重也能运行 31B 模型。

适合谁：想在自己的机器上运行大型多模态模型的开发者和爱好者最适合它。模型卡把 31B 这个尺寸放在消费级显卡和工作站上。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 运行本地模型来做编码和推理任务 | 请它审查一次代码改动
AI 产品 | 构建助手的团队 | 把模型放在会调用函数的智能体后面 | 让智能体通过工具查询数据
研究 | 爱好者和测试人员 | 不花云端费用就试用大型开放模型 | 在一组图片上对比它的回答

如果你的电脑放不下约 15.3 GB 的文件，可以跳过它，看看更小的 Gemma 4 尺寸。

用在哪里：你用 Python 在自己的电脑上下载文件，然后在能读取 GGUF 文件的程序里加载它。

• 装有 Python 的 Windows、macOS 或 Linux
• 能加载 GGUF 文件的程序和服务
• 带消费级显卡或工作站的机器

Use case | Who | What they get back
本地聊天和推理 | 开发者 | 来自你自己机器上模型的文字回答
图片提问 | 开发者 | 关于一张图片的文字回答
编码帮助 | 开发者 | 代码建议和解释

如何设置：你需要 Python、Hugging Face hub 工具，以及一个能加载 GGUF 文件的程序。4-bit 文件约 15.3 GB，这是估算值。

• Windows、macOS 或 Linux 上的 Python
• huggingface_hub 包
• 约 15.3 GB 的可用磁盘空间
• 一个能加载 GGUF 文件的程序

1. 安装 Python。
2. 用 pip 安装 hub 工具。
3. 用 hf 命令下载模型文件。
4. 在你使用的程序里打开 GGUF 文件。

pip install -U huggingface_hub
hf download google/gemma-4-31B-it-qat-q4_0-gguf

如何使用：这里能看到的模型卡内容没有给出运行命令。你在支持 GGUF 的程序里加载下载好的文件，然后连同问题一起发送文字或图片。

• 推理：这个系列提供可配置的思考模式
• 编码和智能体：列出了原生的函数调用
• 系统角色：模型接受系统消息，让行为更稳定
• 输入：文字和图片

示例：你把一张错误对话框的截图和问题 "What does this error mean?" 一起发给模型。它用文字回答。

新手与专家：你可以把这个文件看成一个被压到好的家用电脑能放下的大型 AI 模型。第一个小尝试，是运行上面两条命令，再在支持 GGUF 的程序里打开这个文件。

在底层，量化感知训练让模型为 4-bit 使用做好准备，Q4_0 的 GGUF 文件就是可以直接加载的成品。代价是体积，相对于这个文件所基于的未量化检查点来说。

Gemma 4 31B 指令微调模型
量化感知训练
未量化的 QAT 检查点
可用于你自己工具的 Q4_0 GGUF 文件

注意事项：若干限制来自 Gemma 4 系列的模型卡，下面的大小数字来自 Hugging Face 的记录。

• Size: 30.7B 个参数，4-bit 下约 15.3 GB（估算值），GGUF 格式
• Context: 整个系列最高 256K 个 token，支持 140 多种语言
• Audio: 只列在 E2B、E4B 和 12B 这几个尺寸上，所以这个版本不支持
• Helper models: 用于多 token 预测的辅助模型也必须经过 QAT 训练，且精度一致
• License: apache-2.0
• Cost to run: 未提及
• Data it reaches: 你给它的文字和图片，以及从 Hugging Face 下载的文件

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：30.7B
• Weights: about 15.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：115,066
• 点赞：152
• 许可证：apache-2.0
• 基于：google/gemma-4-31B-it-qat-q4_0-unquantized
• 标签：transformers, gguf, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/google/gemma-4-31B-it-qat-q4_0-gguf
• 文件：https://huggingface.co/google/gemma-4-31B-it-qat-q4_0-gguf/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download google/gemma-4-31B-it-qat-q4_0-gguf

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。