google_gemma-4-31B-it-GGUF

google_gemma-4-31B-it-GGUF

Google Gemma 4 31B 指令模型的量化 GGUF 文件，大小从 17.15 GB 到 61.41 GB，由 bartowski 用重要性矩阵制作。可读取图像和文字。可在 llama.cpp、LM Studio 等工具里运行。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Google gemma-4-31B-it 的 GGUF 量化版本，由 bartowski 制作。他用 llama.cpp 的 b8746 版本和一个重要性矩阵来构建，这有助于文件变小时保持质量。模型有 30.7B 参数，能处理图像和文字。文件大小有很多种，从 61.41 GB 的完整 BF16 副本到接近 17 GB 的文件。模型卡说它最新的更新带来了修复和一个聊天模板。

适合谁：如果你想在自己的电脑上运行 Gemma 4 31B，并且需要一个适合你内存的文件大小，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 离线运行模型的人 | 在桌面运行器里加载量化文件 | 在 LM Studio 里运行 19.60 GB 的 Q4_K_M 文件
软件 | 测试本地模型的开发者 | 用 llama.cpp 或类似工具提供这个模型 | 用同样的提示试几个量化级别
研究 | 对比量化级别的爱好者 | 用同样的问题测试两种文件大小 | 用同一组提示对比 Q6_K 和 Q5_K_M

如果你想要 Google 原始权重来做训练，可以跳过它，因为这些是用来运行模型的压缩文件。

用在哪里：

• llama.cpp、ramalama、koboldcpp 或 LM Studio
• Jan AI、Text Generation Web UI 或 LoLLMs
• 装有 Python 的 Windows、macOS 和 Linux，用来下载文件

用例 | 谁 | 得到什么
本地聊天 | 爱好者 | 在自己机器上得到 31B 模型的回复
图像提问 | 使用支持视觉的运行器的用户 | 会参考图片的回答
选择大小 | 内存有限的人 | 适合他们手上内存或显存的文件

如何设置：
你需要先准备：

• Python，用来使用 Hugging Face 的下载客户端
• 能放下你所选文件的磁盘空间和内存
• 上面列出的某个运行器

1. 安装或更新 Hugging Face 下载客户端。
2. 从模型卡的表里选一个文件，因为模型卡说不要取整个分支。
3. 把那个文件下载到你的电脑。
4. 在运行器里加载它，并使用下面的提示格式。

pip install -U huggingface_hub
hf download bartowski/google_gemma-4-31B-it-GGUF

如何使用：你在运行器里加载一个文件并和模型聊天。如果你的运行器不自己套用聊天模板，模型卡给出了下面的提示格式。这里的文字没有给出运行命令。

<bos><|turn>system
{system_prompt}<turn|>
<|turn>user
{prompt}<turn|>
<|turn>model
<|channel>thought
<channel|>

工具 | 作用
Q4_K_M | 19.60 GB 的文件，模型卡称它是大多数用途的默认大小
Q6_K | 26.73 GB 的文件，质量更高
IQ4_XS | 17.16 GB 的文件，比 Q4 系列文件更省空间
Q3_K_XL | 17.15 GB 的文件，质量较低，适合内存少的情况
bf16 | 61.41 GB 的完整权重，分成几个部分存放

示例：你有一台约 24 GB 内存的机器，所以选了 19.60 GB 的 Q4_K_M 文件。你在 LM Studio 里加载它并发送一条提示。模型卡建议大多数人用这个大小。

新手与专家：量化会缩小模型，让它能放进更少的内存，后缀表示缩小了多少。可以先试 Q4_K_M 文件，放不下的话再换大一点或小一点的。

对熟悉这个领域的读者来说，标有 L 的文件把嵌入权重和输出权重保留在 Q8_0。Q4_0 和 IQ4_NL 为部分 ARM 和 AVX CPU 提供在线重新打包。Q4_1 是一种旧格式，模型卡说它在 Apple 芯片上改善了每瓦特的 token 数。

选一个适合你内存的文件
下载那一个文件
在运行器里打开它
套用提示格式
和模型聊天

注意事项：

• 单个文件：模型卡说要下载一个文件，而不是整个分支，仓库里有很多很大的文件。
• 新模型：新支持的模型可能需要先更新工具才能运行。
• 截断：这里的文字里，文件表在 15 行之后就停了，所以更小的文件缺失。
• 数字：Hugging Face 列出 30.7B 参数，4 位下约 15.3 GB（估计值）。
• 版本：Hugging Face 没有列出其他量化版本，列出了 1 个微调版本。

Title: 各量化文件的大小，来自模型卡的表格
bf16: 61.41 GB
Q8_0: 32.64 GB
Q6_K: 26.73 GB
Q5_K_M: 22.61 GB
Q4_K_M: 19.60 GB
IQ4_XS: 17.16 GB
Q3_K_XL: 17.15 GB

• License: Apache 2.0。
• Cost to run: 未提及。你需要能放下该文件的内存。
• Data it reaches: 你在自己机器上给它的提示和图像。这里的文字没有提到联网使用。
• Not for: 这里的文字里没有提到。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：30.7B
• Weights: about 15.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：44,117
• 点赞：98
• 许可证：apache-2.0
• 基于：google/gemma-4-31B-it
• Fine-tunes: 1
• 标签：gguf, image-text-to-text, imatrix, conversational

链接

• 模型：https://huggingface.co/bartowski/google_gemma-4-31B-it-GGUF
• 文件：https://huggingface.co/bartowski/google_gemma-4-31B-it-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/google_gemma-4-31B-it-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。