gemma-3-4b-it-GGUF

gemma-3-4b-it-GGUF

在你自己的电脑上回答关于文字和图片的问题，是 Unsloth 打包的 Google Gemma 3 4B 指令模型的 GGUF 副本。适合想用小型本地模型的开发者和用户。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Google Gemma 3 4B 指令微调模型的 GGUF 副本，由 Unsloth 打包。Gemma 3 接收文字和图片，输出文字。4B 规格有 128K 个 token 的上下文，模型卡称支持 140 多种语言。记录显示该模型有 3.9B 参数，4 比特约 1.9 GB，为估算值。

适合谁：它适合想在笔记本或台式机上用小型多模态模型、而不是用托管服务的开发者和好奇的用户。

行业 | 使用者 | 用法 | 例子
软件 | 开发者 | 加入一个能读文字和图片的小型本地助手 | 就一张图片提问
生产力 | 普通用户 | 在自己电脑上精简文档 | 总结一份长报告
教育 | 机器学习学生 | 在推理任务上试用一个紧凑的开放模型 | 在本地运行问答

需要音频输入的人可以跳过，因为模型卡列出的输入是文字和图片。

用在哪里：

• 能读取 GGUF 格式的工具
• 笔记本、台式机或你自己的云服务器
• Windows、macOS 或 Linux，用 Python 就能下载文件

使用场景 | 谁用 | 得到什么
问答 | 开发者 | 对你的提示词的书面回答
总结 | 普通用户 | 你提供的文档的缩短版本
图像理解 | 开发者 | 关于图片的文字描述或回答

如何设置：

• 装有 pip 的 Python，用于下载
• 一个能加载 GGUF 文件的运行时
• 模型所需的内存，量化到 4 比特时约 1.9 GB

1. 安装 Hugging Face 的 hub 客户端。
2. 下载仓库里的文件。
3. 在你的运行时里打开 GGUF 文件。

pip install -U huggingface_hub
hf download unsloth/gemma-3-4b-it-GGUF

如何使用：在你的运行时里加载 GGUF 文件，向它发送文字、图片或两者。每张图片会被调整为 896 x 896，占用 256 个 token 的上下文。模型以文字作答。

工具 | 作用
文字输入 | 一个问题、一段任务说明或一份要精简的文件
图片输入 | 调整为 896 x 896，并编码成每张 256 个 token
文字输出 | 生成的回答、摘要或描述

示例：你加载文件，附上一张照片，问它画面里是什么。模型返回一段关于这张图的简短文字回答。

新手与专家：GGUF 文件是一个打包好的单文件模型，本地工具可以直接打开。先加载它并问一个普通问题，再去试图片。

4B、12B 和 27B 规格共用 128K 个 token 的输入上下文，而 1B 规格是 32K。Unsloth 提供量化文件，它的 notebook 负责微调 Gemma 3 模型，这与运行这个文件是两个独立的步骤。

文字和图片输入
图片缩小到 896 x 896
模型读取最多 128K 个 token
输出文字

注意事项：

• 上下文：4B 规格为 128K 个 token
• 图片：每张占用 256 个 token
• 语言：模型卡称支持 140 多种，记录里列出的是英语
• License: gemma，因此适用 Google 的 Gemma 使用条款
• Cost to run: 未提及
• Data it reaches: 你给它的文字和图片，未提到网络或账号访问
• Not for: 除 Gemma 使用条款外，未提及其他限制

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：3.9B
• Weights: about 1.9 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：160,720
• 点赞：216
• 许可证：gemma
• 语言：en
• 基于：google/gemma-3-4b-it
• Quantized versions: 3
• 标签：transformers, gguf, gemma3, image-text-to-text, unsloth, gemma, google, conversational

链接

• 模型：https://huggingface.co/unsloth/gemma-3-4b-it-GGUF
• 文件：https://huggingface.co/unsloth/gemma-3-4b-it-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/gemma-3-4b-it-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。