gemma-4-E4B-it-GGUF

gemma-4-E4B-it-GGUF

Google Gemma 4 E4B 指令模型的 4-bit GGUF 版本，由 Unsloth 打包，可在你自己的机器上运行。它能读取文字和图像，并用文字回答。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Gemma 4 E4B 的 GGUF 版本，原模型是 Google DeepMind 的指令微调模型，由 Unsloth 打包。它接收文字和图像，用文字回复。4-bit 权重估计约 3.8 GB，所以普通电脑也能运行。

适合谁：适合想在自己硬件上使用小型多模态模型的开发者和爱好者，从笔记本到手机都适用。模型卡把文本生成、编程和推理列为它的长项。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 运行带图像输入和函数调用的小型本地模型 | 做一个本地助手，回答关于截图的问题
研究 | 机器学习从业者 | 以 GGUF 形式测试紧凑的指令模型 | 把它的推理能力与更大的模型对比
本地 AI | 爱好者 | 在笔记本上与模型聊天，无需云端账户 | 在 Unsloth Studio 里加载它并提出编程问题
多语言工作 | 使用多种语言的团队 | 用一个支持 140 多种语言的模型 | 用几种语言问同一个问题

如果你需要托管服务，或者只能在大型服务器上运行的模型，可以跳过它。

用在哪里：

• Unsloth Studio，模型卡说 Gemma 4 可以在其中运行和微调
• llama.cpp 和其他能读取 GGUF 文件的工具
• 装有 Python 的 Windows、macOS 和 Linux，用来下载文件

Use case | Who | What they get back
本地聊天 | 爱好者 | 来自你自己机器上模型的文字回答
图像提问 | 开发者 | 针对你发送的图像的文字回答
工具调用 | 智能体构建者 | 可以调用函数的回复，模型卡说 Gemma 4 原生支持

如何设置：下载需要 Python，另外还要一个能加载 GGUF 文件的程序。

• Windows、macOS 或 Linux 上的 Python
• 放得下 4-bit 权重的空间，估计约 3.8 GB
• 能读取 GGUF 的工具，比如 Unsloth Studio 或 llama.cpp

1. 如果还没有 Python，先安装它。
2. 安装 Hugging Face hub 工具。
3. 下载模型文件。
4. 在你的 GGUF 工具里加载它们。

pip install -U huggingface_hub
hf download unsloth/gemma-4-E4B-it-GGUF

如何使用：模型卡没有给出运行命令，而是指向 Unsloth 的另一份运行 Gemma 4 的指南。在聊天工具里，你写一条消息，需要的话附上图像，然后读回复。模型卡提到可以用 system 角色来设定模型的行为。

示例：你附上一张手写购物清单的照片，让模型把它整理成打字清单。它读取图像，并把各项物品作为文字回答出来。

新手与专家：GGUF 文件是为让普通电脑运行而打包的模型。第一步很小：下载文件，在 Unsloth Studio 里打开，问一个简短的问题。

Gemma 4 有稠密和混合专家两种变体。E2B 和 E4B 是面向设备端的小尺寸，上下文窗口为 128K，中等规模的模型则达到 256K。模型卡列出了可配置的思考模式、原生函数调用和原生系统提示支持。Unsloth 还指向它的 Dynamic 2.0 量化基准测试。

下载 GGUF 文件
在支持 GGUF 的工具里加载
发送文字和可选的图像
读取文字回复

Title: 上下文窗口，单位千令牌
小模型，例如 E4B: 128 K 令牌
中等规模模型: 256 K 令牌

注意事项：

• 这个模型有 7.5B 参数，4-bit 权重估计约 3.8 GB。
• E2B 和 E4B 模型列有音频输入，支持的输入中也包括视频。
• 模型卡说，如果你有旧副本，请重新下载，以获得较新的聊天模板和 llama.cpp 修复。
• License: apache-2.0。
• Cost to run: 未提及，你使用自己的硬件。
• Data it reaches: 从 Hugging Face 下载的文件，以及你给它的文字或图像。
• Not for: 模型卡没有列出限制。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：7.5B
• Weights: about 3.8 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：702,365
• 点赞：687
• 许可证：apache-2.0
• 基于：google/gemma-4-E4B-it
• Quantized versions: 5
• Fine-tunes: 1
• 标签：gguf, gemma4, unsloth, gemma, google, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF
• 文件：https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/gemma-4-E4B-it-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。