gemma-4-31B-it-GGUF

gemma-4-31B-it-GGUF

通过 Unsloth 的 GGUF 文件在本地运行 Google 的 Gemma 4 31B 指令微调模型，支持文本和图像输入，上下文很长。适合想要强大本地推理和编程模型的开发者。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Unsloth 对 google/gemma-4-31B-it 的 GGUF 打包，后者是 Google DeepMind 的 Gemma 4 系列里 31B 的指令微调成员。Gemma 4 接收文本和图像输入，输出文本。卡片介绍了可配置的思考模式、原生函数调用和 system 角色。

适合谁：想在自己的机器上运行大型开源模型来做推理、编程和图像问答，并且熟悉 GGUF 工具的开发者和爱好者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 运行本地的编程和推理助手 | 请它调试一个函数
智能体 | 智能体开发者 | 在本地智能体里使用原生函数调用 | 让本地智能体调用工具
研究 | 研究人员 | 通过量化版本测试该系列的模型 | 在同一个提示词上比较思考模式

如果你只有小显卡，可以跳过它，选更小的 Gemma 4 版本。

用在哪里：

• llama.cpp 和其他能读取 GGUF 的工具
• Unsloth Studio，卡片说它能运行和微调 Gemma 4
• 在 Windows、macOS 或 Linux 上下载文件

Use case | Who | What they get back
编程帮助 | 开发者 | 代码、修复和解释
图像问答 | 任何人 | 关于图片的文字回答
长上下文任务 | 分析师 | 在最长 256K 词元的上下文里给出的回答

如何设置：

• 带 pip 的 Python，用来下载文件
• 一个 GGUF 运行器，比如 llama.cpp 或 Unsloth Studio
• 按 Hugging Face 的估算，4 位约需 15.3 GB 内存

1. 安装 Hugging Face hub 包。
2. 下载 GGUF 文件。
3. 在你的运行器里加载。卡片说，在 Google 的聊天模板和 llama.cpp 修复之后要重新下载。

pip install -U huggingface_hub
hf download unsloth/gemma-4-31B-it-GGUF

如何使用：在你的运行器里加载 GGUF 文件，然后和它聊天。卡片指向 Unsloth 自己的 Gemma 4 运行指南，并说明已加入多词元预测支持。遇到较难的问题时打开思考。

示例：你加载模型，请它解释某个函数为什么返回错误的值。它会逐步分析代码，回复原因和修复办法。

新手与专家：如果你是新手，用 Unsloth Studio 或 llama.cpp 问一个简短的问题。先不带图像，再加上图像。

Gemma 4 有稠密和混合专家两种形式，共四种规模：E2B、E4B、26B A4B 和 31B。中等规模的模型有 256K 上下文窗口，小模型为 128K。这个版本是 31B 模型的量化构建，所以质量可能与原版略有差别。

下载 GGUF 文件
在 llama.cpp 或 Unsloth Studio 中加载
发送文本，也可以发图像
模型回复，可选择思考

注意事项：

• 卡片说要重新下载，以获得最新的聊天模板和 llama.cpp 修复
• Gemma 4 支持 140 多种语言
• License: Apache 2.0，模型作者是 Google DeepMind
• Cost to run: 没有列出费用，硬件由你自己准备
• Data it reaches: 你的提示词、图像，以及从 Hugging Face 下载的文件
• Not for: 视频和音频，卡片只把它们列为小型 E2B 和 E4B 模型的功能

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：30.7B
• Weights: about 15.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：428,266
• 点赞：677
• 许可证：apache-2.0
• 基于：google/gemma-4-31B-it
• Quantized versions: 2
• Fine-tunes: 1
• 标签：gguf, gemma4, unsloth, gemma, google, image-text-to-text, imatrix, conversational

链接

• 模型：https://huggingface.co/unsloth/gemma-4-31B-it-GGUF
• 文件：https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/gemma-4-31B-it-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。