gemma-4-E4B-it-GGUF

gemma-4-E4B-it-GGUF

Google gemma-4-E4B-it 的 GGUF 格式副本，可以用 Llama 应用或 llama serve 命令在你自己的电脑上运行，适合想在本地运行 Gemma 的人。

由 ggml-org 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：gemma-4-E4B-it-GGUF 是 Google gemma-4-E4B-it 的 GGUF 格式副本，由 ggml-org 发布。它是从原始模型自动转换来的，所以是同一个模型，只是打包成了适合 Llama 工具的格式。记录里列出约 7.5B 参数，标记为 any to any，模型卡除了运行方法，几乎没有别的内容。

适合谁：适合想通过 Llama 应用或 llama serve 命令在自己机器上运行 Gemma 的人，以及测试 GGUF 模型的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用开发者 | 提供一个本地模型供应用调用 | 用 llama serve 命令启动模型
业余计算 | 本地 AI 爱好者 | 不用云服务，在自己电脑上试用 Gemma | 在 Llama 应用里打开模型
教育 | 学生 | 学习 GGUF 模型如何获取和加载 | 用 hf download 拉取文件并查看

需要基准测试、量化细节或使用说明的人可以跳过它，因为模型卡几乎是空的。

用在哪里：它在本地运行，可以用 Llama 应用，也可以在终端里用。

• Llama 应用
• 终端，配合 llama serve 命令
• Windows、macOS 或 Linux，配合 Python 用 hf 下载文件

用例 | 谁用 | 得到什么
本地聊天 | 个人用户 | 来自你自己电脑上运行的模型的回复
本地服务 | 开发者 | 一个加载了这个模型的 llama serve 实例

如何设置：你可以让 llama serve 自己获取模型，也可以先下载文件。

• Llama 应用或 llama 命令
• 几 GB 的可用磁盘空间，因为 4 位权重的估算是 3.8 GB
• 带 pip 的 Python，只有用 hf 下载时才需要

1. 获取 Llama 应用或 llama 命令。
2. 运行 serve 命令，它会从 Hugging Face 拉取模型。
3. 或者自己用 hf 命令下载文件。

llama serve -hf ggml-org/gemma-4-E4B-it-GGUF

pip install -U huggingface_hub
hf download ggml-org/gemma-4-E4B-it-GGUF

如何使用：日常使用时，你用 llama serve 启动模型，或在 Llama 应用里打开它。模型卡没有记录其他命令或设置。

工具 | 作用
llama serve 加 -hf 参数 | 从 Hugging Face 加载模型并提供服务
hf download | 把模型文件复制到你的电脑

示例：你在终端里用这个仓库名运行 serve 命令。模型从 Hugging Face 加载并开始提供服务。模型卡没有给出示例对话，所以接下来问它什么由你决定。

新手与专家：GGUF 是一种用来在自己机器上运行模型的文件格式。可以把它看作 Google Gemma 的一个即开即用的包。第一件可以试的小事，就是打开 Llama 应用加载这个模型，或者运行一次 serve 命令。

它是 google/gemma-4-E4B-it 的自动转换版本。模型卡列出了四个源模型，包括一个 assistant 变体和两个 QAT q4_0 unquantized 的模型。它没有说明仓库里有哪些量化级别。待办清单里提到要补充信息和 dflash，所以模型卡可能会变。

从原始 Gemma 模型开始
自动转换成 GGUF
用 llama 提供服务或下载
在你自己的电脑上聊天

注意事项：模型卡只是个简短的框架，所以大部分细节来自仓库记录。

• 内容很少：没有基准测试、量化列表或使用说明。
• 来源：从 google/gemma-4-E4B-it 自动转换而来。
• 大小：约 7.5B 参数，4 位权重的估算是 3.8 GB。
• License: Apache 2.0。
• Cost to run: 没有提到费用。
• Data it reaches: 从 Hugging Face 获取的模型文件。模型卡没有提到账号或其他访问。

Hugging Face 上的数据（2026年11月13日）

• 任务：any to any
• 参数量：7.5B
• Weights: about 3.8 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：263,980
• 点赞：110
• 许可证：apache-2.0
• 基于：google/gemma-4-E4B-it
• Quantized versions: 1
• 标签：gguf, quantized, any-to-any, conversational

链接

• 模型：https://huggingface.co/ggml-org/gemma-4-E4B-it-GGUF
• 文件：https://huggingface.co/ggml-org/gemma-4-E4B-it-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ggml-org/gemma-4-E4B-it-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。