gemma-4-E2B-it-litert-lm

gemma-4-E2B-it-litert-lm

打包成 .litertlm 文件的 Gemma 4 E2B 指令微调模型，用于 LiteRT-LM 框架，适合在手机、桌面和边缘设备上私密地本地运行。

由 litert-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：gemma-4-E2B-it-litert-lm 是 Google 的 Gemma 4 E2B 指令微调模型，由 litert-community 重新打包。它是给 LiteRT-LM 用的 .litertlm 文件，LiteRT-LM 是在设备上运行生成式模型的框架。

模型卡点名了 Android、iOS、桌面、IoT 和网页这些运行位置。在设备上运行可以保护你的隐私，而且不需要联网。

适合谁：它适合想把小型语言模型放进自己的应用或设备的应用开发者和边缘工程师。只想聊天的人可以通过模型卡链接的 Google AI Edge Gallery 应用试用。

行业 | 谁在用 | 怎么用 | 例子
移动应用 | Android 和 iOS 开发者 | 把小模型放进应用 | 一个离线助手功能
物联网和边缘 | 嵌入式工程师 | 在没有网络连接的设备上运行模型 | 小设备上的本地助手
桌面软件 | 开发者 | 给程序加上设备端文本生成 | 一个把数据留在本地的写作助手
注重隐私的团队 | 产品团队 | 让提示词留在用户设备上 | 一个私密的笔记摘要工具

如果你想用大型托管模型，不需要在设备上运行，可以跳过它。

用在哪里：

• LiteRT-LM 框架，它能读取 .litertlm 文件
• 按模型卡所说，Android、iOS、桌面、IoT 和网页目标
• Google AI Edge Gallery，基于同一套技术栈的展示应用
• Windows、macOS 或 Linux，下载文件需要 Python

用例 | 谁用 | 得到什么
设备端聊天 | 应用开发者 | 不需要网络的文字回复
函数调用 | 智能体开发者 | 模型可以通过 LiteRT-LM 的 API 调用函数
低内存运行 | 边缘工程师 | 纯文本使用时权重最小可到 0.8 GB

如何设置：先准备好下面这些东西。

• Python 和 pip，用于下载命令
• 适合你目标平台的 LiteRT-LM 框架
• 放模型的内存，按模型卡所说，纯文本使用时最低 0.8 GB

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载仓库。
3. 在 LiteRT-LM 里加载 .litertlm 文件，运行细节见模型卡和 LiteRT-LM 文档。

pip install -U huggingface_hub
hf download litert-community/gemma-4-E2B-it-litert-lm

如何使用：你通过 LiteRT-LM 使用这个文件，它负责提示词模板、键值缓存和函数调用。模型卡还指向 Google AI Edge Gallery 应用和一个 LiteRT-LM 命令行工具，供你试用模型。

示例：你把文件放进用 LiteRT-LM 构建的手机应用，让模型总结一条简短的笔记。文字留在手机上，模型卡称这个模型不需要联网就能工作。

新手与专家：最简单的第一次尝试是 Google AI Edge Gallery 应用，模型卡为 Android 和 iOS 提供了链接。开发者之后可以再用文件本身。

模型卡描述了一种混合 2 位、4 位和 8 位权重的移动端量化方案。纯文本使用时，权重可以小到 0.8 GB，同时内存映射负责 1.12 GB 的嵌入参数。视觉和音频模型按需加载，进一步节省内存。LiteRT 为 CPU 提供 XNNPack，为 GPU 提供 ML Drift。

下载 .litertlm 文件
在 LiteRT-LM 里加载
在设备上发送提示词
无需网络就得到回复

注意事项：

• License: Apache 2.0
• Cost to run: 来源没有提到
• Data it reaches: 它从 Hugging Face 下载文件，加载之后模型在设备上运行

Hugging Face 上的数据（2026年11月13日）

• 框架：litert-lm
• 最近 30 天下载：1,418,552
• 点赞：545
• 许可证：apache-2.0
• 基于：google/gemma-4-E2B-it
• Fine-tunes: 7
• 标签：litert-lm

链接

• 模型：https://huggingface.co/litert-community/gemma-4-E2B-it-litert-lm
• 文件：https://huggingface.co/litert-community/gemma-4-E2B-it-litert-lm/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download litert-community/gemma-4-E2B-it-litert-lm

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。