gemma-4-12B-it GGUF

gemma-4-12B-it GGUF

通过 Llama 应用或 llama 命令，在你自己的电脑上运行 Google 的 gemma-4-12B-it，文件是 ggml-org 自动转换的 GGUF。适合在本地运行模型的人。

由 ggml-org 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库保存 Google 的 gemma-4-12B-it 的 GGUF 副本，由 ggml-org 自动转换。记录里列出 11.9B 个参数，任务类型是 any to any。

模型卡列出了四个 Google 的源模型，包括一个 assistant 版本和两个 QAT q4_0 未量化版本。它没有说明这些文件用了哪些量化类型。

适合谁：在自己电脑上运行语言模型的人最适合它，包括想在本地测试 Gemma 的开发者。

Industry | Who uses it | How they use it | Example
本地 AI | 爱好者 | 在自己的机器上运行 12B 模型 | 从终端启动模型
软件 | 开发者 | 把本地模型提供给自己的应用 | 运行 llama serve 命令
研究 | 模型测试者 | 试用 GGUF 形式的 Google 模型 | 和其他本地模型做对比

如果你需要量化的细节，可以跳过它，因为模型卡很简短，它自己的待办清单也说还需要补充信息。

用在哪里：你在自己的电脑上运行它，可以在应用里，也可以在终端里。

• Llama 应用
• 终端，使用 llama 命令
• Windows、macOS 或 Linux

Use case | Who | What they get back
本地聊天 | 爱好者 | 在你自己机器上回答的模型
本地服务 | 开发者 | 你的应用可以使用的运行中的模型
模型测试 | 测试者 | 可用来对比的 GGUF 形式的 Gemma 模型

如何设置：你需要 Llama 应用或 llama 命令，也可以选择用 Python 自己下载文件。

• Llama 应用或 llama 命令行工具
• 可选：带有 Hugging Face hub 工具的 Python

1. 安装 Llama 应用或 llama 命令行工具。
2. 也可以用 hf 命令下载模型文件。
3. 在终端里运行 serve 命令。

pip install -U huggingface_hub
hf download ggml-org/gemma-4-12B-it-GGUF

如何使用：在终端里运行下面的命令。hf 选项给出命令要加载并提供服务的 Hugging Face 仓库。

llama serve -hf ggml-org/gemma-4-12B-it-GGUF

Tool | What it does
Llama app | 在应用里运行模型
llama serve | 加载 hf 选项后面指定的仓库并提供服务

示例：你打开终端，用仓库名运行 llama serve。这个工具加载这个模型并在你的电脑上提供服务，等着你指向它的应用或程序来用。

新手与专家：GGUF 是一种在本地运行模型的文件格式。第一个小尝试，是打开 Llama 应用加载这个模型，或者运行上面的命令。

在底层，ggml-org 的自动转换器根据 Google 公开发布的模型生成了这些文件。记录估计权重在 4 位下约 6 GB，但这只是估计，模型卡没有给出量化类型的清单。

Google 的 gemma-4-12B-it
ggml-org 自动转换
这个仓库里的 GGUF 文件
由 llama 在本地提供服务

注意事项：模型卡简短而且没写完，所以除了命令之外的细节都要当作未经确认。

• Size: 11.9B 个参数，4 位下估计约 6 GB
• Other versions: Hugging Face 列出了其他人做的 0 个量化版本和 1 个微调版本
• License: apache-2.0
• Cost to run: 未提及
• Data it reaches: 你给它的提示词，以及从 Hugging Face 下载的模型文件
• Status: 模型卡的待办清单说还要补充信息

Hugging Face 上的数据（2026年11月13日）

• 任务：any to any
• 参数量：11.9B
• Weights: about 6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：107,736
• 点赞：106
• 许可证：apache-2.0
• 基于：google/gemma-4-12B-it
• Fine-tunes: 1
• 标签：gguf, quantized, any-to-any, conversational

链接

• 模型：https://huggingface.co/ggml-org/gemma-4-12B-it-GGUF
• 文件：https://huggingface.co/ggml-org/gemma-4-12B-it-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ggml-org/gemma-4-12B-it-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。