gemma-3-12b-it-GGUF

gemma-3-12b-it-GGUF

用 Google Gemma 3 12B 指令模型的 GGUF 文件回答问题、总结文本并读图，适合想在自己电脑上运行它的人。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库里放的是 gemma-3-12b-it 的 GGUF 文件，它是 Google DeepMind 的 Gemma 3 系列里经过指令微调的 12B 模型，由 unsloth 打包。模型接收文字和图片作为输入，输出文字。模型卡说它适合问答、总结和推理这类任务。

适合谁：如果你想要一个既能读文字又能读图片、还能在自己机器上运行的中等规模模型，或者你是之后要微调或在它之上开发的开发者，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在应用里本地运行图文模型 | 开发者发送一张截图和一个问题，并展示文字回答
研究 | 分析师 | 借助大上下文窗口总结长文档 | 分析师贴入一份长报告，请它给出主要发现
教育 | 学生和老师 | 针对图表和阅读材料提问 | 学生发一张图表的照片，问它显示了什么

如果你想要不用下载的托管聊天服务，可以跳过它。

用在哪里：

• 能读取 GGUF 文件的工具，比如 llama.cpp 和 Ollama，页面在导出模型时提到了它们
• 你自己的 Windows、macOS 或 Linux 电脑，先用 Python 下载文件
• 你自己运行的云服务器，模型卡说这种规模的模型适合部署在那里

用例 | 谁用 | 得到什么
问答 | 任何人 | 对输入问题的文字回答
总结文档 | 分析师 | 长输入的较短文字版本
图片提问 | 开发者或学生 | 对图片的文字描述或分析

如何设置：

• 电脑上装好 Python，用来运行 pip 和 Hugging Face 工具
• 磁盘空间，按 Hugging Face 的估计，4 位版本约 5.9 GB
• 一个能加载 GGUF 文件的运行工具

1. 安装 Hugging Face hub 包。
2. 下载仓库文件。
3. 在运行工具里加载一个 GGUF 文件。模型卡没有给出自己的运行命令，只指向 unsloth 的 Gemma 3 运行指南。

pip install -U huggingface_hub
hf download unsloth/gemma-3-12b-it-GGUF

如何使用：

你输入提示词，或者发一张图片加一个问题，模型就会写出文字回答。模型卡说每张图片会被调整为 896 乘 896，并转成 256 个词元，模型最多接受 128K 词元的输入。它只给出了下载这一步的命令。

hf download unsloth/gemma-3-12b-it-GGUF

工具 | 作用
hf download | 把仓库文件下载到你的电脑
pip install -U huggingface_hub | 安装提供 hf 命令的包

示例：你发一张图表图片，并问：“这张图表显示了什么？”模型会读图，并用文字回复描述和要点。

新手与专家：GGUF 是在自己电脑上运行模型的一种文件格式。这个模型既读文字也读图片，并用文字回答。一个好的第一步，是下载文件，用支持 GGUF 的应用打开一个，再问一个简短的问题。

对熟悉这个领域的人来说，这是 Google DeepMind 的一个 12B 模型，按 Hugging Face 的统计有 11.8B 参数，上下文为 128K 词元。图片会被规范化为 896 乘 896，并各编码成 256 个词元。unsloth 的页面还介绍了用它自己的笔记本微调 Gemma 3，并把结果导出为 GGUF 或 Ollama 格式。

Google DeepMind 发布 Gemma 3 12B 指令模型
unsloth 把它打包成 GGUF 文件
你用 hf 下载文件
运行工具加载一个文件
它读取文字和图片并写出文字

注意事项：

• Size: 11.8B 参数，按 Hugging Face 的估计，4 位约 5.9 GB
• Context: 12B 规格最多 128K 词元的输入
• Languages: 模型卡说支持 140 多种，而 Hugging Face 列的是英语
• License: Gemma 许可证，请阅读其使用条款
• Cost to run: 来源没有提到费用，除了你自己的硬件
• Data it reaches: 下载要联网并把文件写入磁盘，来源没有提到其他访问
• Not for: Gemma 使用条款排除的任何用途，因为页面没有写出其他限制

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：11.8B
• Weights: about 5.9 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：84,937
• 点赞：204
• 许可证：gemma
• 语言：en
• 基于：google/gemma-3-12b-it
• 标签：transformers, gguf, gemma3, image-text-to-text, unsloth, gemma, google, conversational

链接

• 模型：https://huggingface.co/unsloth/gemma-3-12b-it-GGUF
• 文件：https://huggingface.co/unsloth/gemma-3-12b-it-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/gemma-3-12b-it-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。