gemma-4-12B-it-qat-q4_0-gguf

gemma-4-12B-it-qat-q4_0-gguf

以 4-bit GGUF 文件运行 Google 的 Gemma 4 12B 指令微调模型，使用量化感知训练制作。能读取文本和图片，适合笔记本和消费级显卡。

由 google 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Google DeepMind 的 Gemma 4 系列中 12B 的指令微调模型，格式为 Q4_0 的 GGUF 文件。它使用量化感知训练，模型卡说这样能让质量接近 bfloat16，同时大幅降低加载所需的内存。它约有 11.9B 参数，4-bit 大约 6 GB。

适合谁：适合想在笔记本、消费级显卡或小型服务器上使用具备推理和图片输入能力的强大开放模型的开发者和爱好者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 运行带编程和函数调用的本地助手 | 一个本地编程助手
研究 | 机器学习研究人员 | 研究量化感知训练的效果 | 与全精度副本的对比
教育 | 学生 | 在个人电脑上试用推理模型 | 可离线工作的学习助手
IT 运维 | 小型团队 | 让文本和图片留在自己的硬件上 | 一个内部文档问答工具

如果你想要手机大小的模型或最大的尺寸，可以跳过它，因为这个系列还有更小和更大的版本。

用在哪里：

• 能读取 GGUF 文件的程序，在 Windows、macOS 或 Linux 上
• Python，用来从 Hugging Face 下载文件
• 消费级显卡和笔记本，模型卡把它们列为 12B 尺寸的目标

Use case | Who | What they get back
聊天和推理 | 个人 | 带可调思考模式的回答
图片问答 | 开发者 | 针对你提供的图片的文字回答
函数调用 | 智能体开发者 | 模型发出的工具调用
多语言文本 | 任何人 | 按模型卡所说，支持超过 140 种语言

如何设置：

• Python，用来运行 Hugging Face 下载工具
• 约 6 GB 4-bit 权重的空间
• 一个能加载 GGUF 文件的程序

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载 GGUF 文件。
3. 在支持 GGUF 的程序里打开该文件。

pip install -U huggingface_hub
hf download google/gemma-4-12B-it-qat-q4_0-gguf

如何使用：在程序里加载这个 GGUF，像使用任何指令微调模型一样聊天。模型卡说 Gemma 4 支持系统角色，所以你可以在系统消息里为对话设定规则。

示例：你附上一张路牌的照片，问“What does this sign say, and in which language”。模型读取图片，用文字回复路牌上的内容和所用语言。

新手与专家：先问一个简短的文字问题，再加上图片。第一小步是在尝试长提示词之前，先确认文件能在你的程序里加载。

模型卡列出了这个系列的四种 QAT 变体：未量化的 Q4_0 检查点、GGUF、面向移动设备的文件，以及用于 vLLM 的压缩张量。如果你把 QAT 模型和助手模型搭配做推测解码，助手模型也必须是相同精度的 QAT 检查点。

下载 GGUF 文件
在支持 GGUF 的程序中加载
发送文本或图片
模型推理并回答

注意事项：

• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 从 Hugging Face 下载文件，之后在你自己的机器上运行
• Not for: 手机和小型边缘设备，模型卡为它们指向了更小的 E2B 和 E4B 尺寸
• Limits: 这个系列最长支持 256K token 的上下文，但实际上限由你的硬件决定

Hugging Face 上的数据（2026年11月13日）

• 任务：any to any
• 框架：transformers
• 参数量：11.9B
• Weights: about 6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,177,710
• 点赞：397
• 许可证：apache-2.0
• 基于：google/gemma-4-12B-it-qat-q4_0-unquantized
• Quantized versions: 3
• Fine-tunes: 2
• 标签：transformers, gguf, any-to-any, conversational

链接

• 模型：https://huggingface.co/google/gemma-4-12B-it-qat-q4_0-gguf
• 文件：https://huggingface.co/google/gemma-4-12B-it-qat-q4_0-gguf/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download google/gemma-4-12B-it-qat-q4_0-gguf

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。