gemma-4-12B-it-qat-GGUF

gemma-4-12B-it-qat-GGUF

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Unsloth 制作的 Gemma 4 12B 指令微调版 GGUF 文件，来自 Google 的量化感知训练检查点。模型卡说这种训练方式能让质量接近 bfloat16，同时大幅降低内存占用。记录里列出的参数量是 11.9B。

适合谁：想在自己机器上用小体积的 Gemma 4，并且使用 llama.cpp 的人。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 通过 llama-server 运行本地助手 | 自己机器上的聊天接口
研究 | AI 研究者 | 在本地测试多模态 12B 模型 | 针对一张图片提问
教育 | 学生 | 在笔记本 GPU 上试用现代开放模型 | 运行 Q4 并检查回答
信息技术 | 平台团队 | 为内部使用提供私有模型服务 | 私有的聊天工具

如果你想用托管的聊天，或者你的运行时无法加载 GGUF 文件，可以跳过它。

用在哪里：

• llama.cpp，通过它的 llama-server 程序
• Unsloth Studio，模型卡说它可以运行 Gemma 4
• Windows、macOS 或 Linux，下载这一步需要 Python

Use case | Who | What they get back
本地聊天 | 开发者 | 来自你硬件上 12B 模型的文字回答
图像提问 | 研究者 | 对你提供的图像给出回答
更快的生成 | 开发者 | 通过附带的 MTP 草稿文件进行推测解码

如何设置：

• 电脑上装有 Python 和 pip
• 较新的 llama.cpp 构建，它会自己找到草稿文件
• 按记录的估算，4-bit 副本约需 6 GB 空间

1. 安装 Hugging Face hub 软件包。
2. 用 hf 命令下载仓库，或者让 llama-server 自己获取。
3. 用这个模型启动 llama-server。

pip install -U huggingface_hub
hf download unsloth/gemma-4-12B-it-qat-GGUF

如何使用：用 Hugging Face 仓库和 UD-Q4_K_XL 量化版本启动 llama-server，然后和它聊天。模型卡说较新的 llama.cpp 会自动找到 MTP 草稿文件，所以你不用再传草稿模型。

./build/bin/llama-server \
  -hf unsloth/gemma-4-12B-it-qat-GGUF:UD-Q4_K_XL \
  --spec-type draft-mtp --spec-draft-n-max 4 \
  -ngl 999 -fa on

示例：你启动服务，在它提供的聊天页面里提问。草稿模型先提出后面的词元，模型卡说主模型会逐个检查，所以最终回答不变。

新手与专家：如果你是新手，运行上面那条 llama-server 命令，在它打开的页面里聊天。草稿文件只是可选的加速，不会改变你得到的回答。

如果你懂这个领域，模型卡说 QAT 在内存低得多的情况下保持与 bfloat16 相近的质量。MTP 草稿模型共用目标模型的 KV 缓存，目标模型会验证每个草稿词元。Gemma 4 处理文字和图像输入，12B 这个尺寸还支持音频，并能读取最多 256K 个词元。

QAT Gemma 4 12B 检查点
GGUF Q4 文件
带 MTP 草稿的 llama-server
文字回答

注意事项：

• License: Apache 2.0
• Cost to run: 你自己的硬件，4-bit 副本约需 6 GB
• Data it reaches: 你下载的文件，以及发给你本地服务的提示词
• Languages: Gemma 4 系列覆盖 140 多种

Hugging Face 上的数据（2026年11月13日）

• 任务：any to any
• 框架：transformers
• 参数量：11.9B
• Weights: about 6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：196,871
• 点赞：617
• 许可证：apache-2.0
• 基于：google/gemma-4-12B-it-qat-q4_0-unquantized
• Quantized versions: 1
• 标签：transformers, gguf, gemma4, unsloth, gemma, google, any-to-any, conversational

链接

• 模型：https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF
• 文件：https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/gemma-4-12B-it-qat-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。