gemma-4-12b-it-GGUF

gemma-4-12b-it-GGUF

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：gemma-4-12b-it-GGUF 是 google/gemma-4-12B-it 的 GGUF 版本，由 Unsloth 制作。基础是 Google DeepMind 的 Gemma 4 12B Unified 模型。记录列出的参数量是 11.9B，按它的估算，4 位权重约 6 GB。

模型接收文字、图片、音频和视频作为输入，输出文字。模型卡称它不需要单独的编码器，就能直接理解音频和视觉。

适合谁：它适合想在自己电脑上运行多模态模型、并且机器能放下约 6 GB 文件的人。开发者也可以微调它，模型卡提到了用 Unsloth Studio 来做。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在本地运行模型处理文字、图片和音频输入 | 问一张截图里有什么
智能体 | 工具开发者 | 使用函数调用和思考模式 | 一个根据请求选择工具的助手
媒体 | 剪辑师 | 获得关于片段和录音的文字回答 | 总结一段简短的录音
研究 | 业余研究者 | 在自己的硬件上试用较新的开放模型 | 与更小的 Gemma 4 尺寸做对比

如果你想用托管助手，又不打算运行模型，可以跳过它。

用在哪里：

• 能加载 GGUF 文件的本地应用
• Unsloth Studio，模型卡称它可以运行和微调这个模型
• Windows、macOS 或 Linux，下载步骤需要 Python

用例 | 谁用 | 得到什么
聊天和推理 | 开发者 | 带可配置思考模式的文字回答
图片和音频问题 | 应用开发者 | 关于一张图片或一段录音的文字回答
函数调用 | 智能体开发者 | 由模型驱动的工具调用

如何设置：先准备好下面这些东西。

• Python 和 pip，用于下载命令
• 一个能加载 GGUF 文件的本地应用
• 按记录的估算，约 6 GB 的空闲磁盘空间，放 4 位权重

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载仓库。
3. 在你的本地应用里加载 GGUF 文件。Unsloth 有一份运行 Gemma 4 12B 的指南。

pip install -U huggingface_hub
hf download unsloth/gemma-4-12b-it-GGUF

如何使用：加载文件之后，你和模型聊天，也可以加上图片或音频。模型卡称 Gemma 4 支持 system 角色，让对话更可控，并原生支持函数调用。它还通过一份 Unsloth 指南列出了对多词元预测的支持。

示例：你加载文件，给模型一张截图，问 "What does this error message mean?"。模型读取图片，用文字回答。

新手与专家：先问一个简短的文字问题。跑通后再加图片。音频和视频放最后，因为在你用的应用里它们需要更多设置。

12B Unified 模型不用单独的编码器就能读取音频和图片。这让模型是无编码器的，体积也适合消费级硬件。Gemma 4 的注意力把局部滑动窗口和全局层混合起来，整个系列的上下文窗口可达 256K 个词元。量化版本用一些精度换取更小的文件。

用 hf 下载 GGUF 文件
在本地应用里加载
发送文字、图片或音频
模型写回文字

注意事项：

• License: Apache 2.0
• Cost to run: 来源没有提到费用，但你需要能放下约 6 GB 权重的机器
• Data it reaches: 它把文件从 Hugging Face 下载到你的电脑上

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：11.9B
• Weights: about 6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：2,534,530
• 点赞：963
• 许可证：apache-2.0
• 基于：google/gemma-4-12B-it
• Quantized versions: 1
• 标签：gguf, gemma4, unsloth, gemma, google, gemma4_unified, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/unsloth/gemma-4-12b-it-GGUF
• 文件：https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/gemma-4-12b-it-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。