gemma-4-E2B-it-GGUF

gemma-4-E2B-it-GGUF

Unsloth 制作的 Google DeepMind Gemma 4 E2B 指令微调模型的 GGUF 文件，接收文本和图像并输出文本，上下文为 128K。适合在笔记本和小型机器上本地运行模型的人。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Unsloth 制作的 gemma-4-E2B-it 的 GGUF 文件，它是 Google DeepMind Gemma 4 系列里的指令微调模型。Gemma 4 模型是多模态的，接收文本和图像并输出文本。小型模型还支持音频。Hugging Face 记录列出 4.6B 参数，4 位下约 2.3 GB。

适合谁：想在自己的笔记本或边缘设备上运行小型多模态模型的人，以及需要在紧凑模型里做推理、编程或函数调用的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 用小机器的开发者 | 在本地运行多模态模型 | 针对一张截图提问
智能体 | 构建调用工具的智能体的人 | 使用原生函数调用 | 让模型调用天气或搜索函数
端侧应用 | 面向笔记本和手机的团队 | 让推理留在设备上 | 不经服务器就回答用户的问题

如果你需要 Gemma 4 最大的规格，可以跳过它，因为这个系列还有 26B A4B 和 31B 版本。

用在哪里：

• Unsloth Studio，模型卡称它可以运行和微调 Gemma 4
• llama.cpp 和其他基于 GGUF 的工具
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 适合谁 | 得到什么
图像问答 | 应用开发者 | 关于图像的文字回答
编程帮助 | 开发者 | 代码和解释
调用工具的智能体 | 智能体开发者 | 模型原生支持带来的函数调用
结构化对话 | 写提示词的人 | 由系统提示词塑造的回复

如何设置：你需要一个支持 GGUF 的工具，以及放得下 4 位下约 2.3 GB 文件的内存。模型卡指向 Unsloth 运行 Gemma 4 的指南，并提示要重新下载以获得最新的聊天模板。

• Python 和 pip
• 支持 GGUF 的运行时，比如 llama.cpp 或 Unsloth Studio
• 存放你所选文件的磁盘空间

1. 下载 GGUF 文件。
2. 打开模型卡链接的指南查看运行步骤。
3. 在你选的工具里加载一个文件。

pip install -U huggingface_hub
hf download unsloth/gemma-4-E2B-it-GGUF

如何使用：在工具里加载模型，然后用文本或图像对话。Gemma 4 支持 system 角色，所以你可以在系统提示词里设定行为。思考模式可以配置。

示例：你附上一张收据的照片，问“What is the total?”。模型会用文字回复金额。这里用到的模型卡部分没有给出示例输出。

新手与专家：如果你是新手，可以在 Unsloth Studio 里试用，模型卡称模型在那里带着工具调用运行。先问一个简短的文本问题，再加图像。

对专家来说，Gemma 4 涵盖稠密和混合专家两种设计，有四种规格：E2B、E4B、26B A4B 和 31B。小模型的上下文窗口是 128K，中等规模的是 256K。Unsloth 后来加入了 MTP 支持，并按 Google 最新的聊天模板更新了文件。

文本或图像输入
量化为 GGUF 的 Gemma 4 E2B
文本输出

注意事项：

• Family sizes: E2B、E4B、26B A4B 和 31B
• Context: 小型模型为 128K token
• Updates: 为了最新的聊天模板和 llama.cpp 修复，需要重新下载
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: 从 Hugging Face 下载文件，没有提到其他内容
• Not for: 模型卡没有写明限制，输出只有文本

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：4.6B
• Weights: about 2.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：674,565
• 点赞：356
• 许可证：apache-2.0
• 基于：google/gemma-4-E2B-it
• Quantized versions: 5
• Fine-tunes: 2
• 标签：gguf, gemma4, unsloth, gemma, google, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/unsloth/gemma-4-E2B-it-GGUF
• 文件：https://huggingface.co/unsloth/gemma-4-E2B-it-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/gemma-4-E2B-it-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。