Gemma 4 12B IT (LiteRT-LM)

Gemma 4 12B IT (LiteRT-LM)

在你自己的桌面上运行 Gemma 4 12B，支持文本、图像和音频输入，不需要联网。这是 LiteRT-LM 版本，适合想在 Windows、macOS 或 Linux 上私密地本地生成的开发者。

由 litert-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：以 LiteRT-LM 格式打包的 Gemma 4 12B Instruct，可以直接在 macOS、Linux 和 Windows 上运行。这个模型文件接受文本、图像和音频，并支持多词元预测，让推测解码更快。因为它在你的设备上运行，所以不需要联网。

适合谁：想要一个能在本地运行、数据留在本机的中等规模模型的开发者和桌面应用开发者。它面向桌面使用，网页端是更受限的选择。

Industry | Who uses it | How they use it | Example
软件 | 桌面应用开发者 | 通过 LiteRT-LM 在应用里嵌入本地助手 | 一个离线也能用的写作助手
注重隐私的工作 | 有敏感文本的团队 | 让提示词和回答留在自己的机器上 | 不经云端调用就总结内部笔记
产品设计 | 原型开发者 | 在一个模型里试用文本、图像和音频输入 | 一个回答照片相关问题的演示
研究 | 边缘 AI 研究人员 | 测量本地硬件上的速度和内存 | 比较不同设备上的解码速度

如果你的机器内存很小，或者想用托管模型，可以跳过它，因为它运行在你自己的硬件上。

用在哪里：

• Windows、macOS 和 Linux 桌面
• 网页演示，功能更受限
• 基于 LiteRT-LM 构建的应用，这是该模型所面向的运行时

Use case | Who | What they get back
离线聊天助手 | 桌面开发者 | 在设备上生成的文本回复
图像和音频提问 | 原型开发者 | 用到图片或音频片段的回答
快速本地回复 | 应用开发者 | 多词元预测带来的更低延迟

如何设置：

• Python，用来安装 Hugging Face 客户端
• LiteRT-LM 0.17 或更新版本，模型卡要求如此
• 内存足够的桌面电脑，基准测试用的 GPU 占用约 7790 MB

1. 安装 Hugging Face 客户端。
2. 把模型文件下载到你的电脑。
3. 用 LiteRT-LM 0.17 或更新版本运行模型文件。

pip install -U huggingface_hub
hf download litert-community/gemma-4-12B-it-litert-lm

如何使用：通过 LiteRT-LM 运行模型文件，可以用它的桌面命令行工具，也可以用你自己的应用。来源没有给出命令，所以请参照 LiteRT-LM 指南。如果内存不够，把 max_num_tokens 设置调低来缩小上下文。

Tool | What it does
LiteRT-LM | 运行模型文件，并提供 KV 缓存管理、提示词模板和函数调用
LiteRT | 提供底层的硬件加速
max_num_tokens | 设置上下文长度，内存紧张时调低它

示例：你在没有网络的飞机上，请模型总结一页笔记。它在你的机器上读取文本，返回一份摘要。在基准测试的 GPU 上，第一个词元在 0.3 秒内出现。

新手与专家：如果你是新手，先用 LiteRT-LM 指南里的桌面命令行工具，问一个简短的文本问题，再去加图像或音频。先用默认的上下文长度。

如果你熟悉这个领域：基准测试用了 1024 个预填充词元、256 个解码词元和 4096 个词元的上下文。在内存足够的设备上，模型可以达到 128k 上下文，多词元预测能降低延迟。

你的提示词
LiteRT-LM
CPU 上的 XNNPack 或 GPU 上的 ML Drift
在设备上回复

注意事项：模型卡给出了在 24 GB 的 NVIDIA 4090 上的 Linux 基准。预填充速度是每秒 3548 个词元，解码是每秒 69 个词元。

Title: NVIDIA 4090 上的内存，单位 MB
Model file: 6883 MB
GPU memory: 7790 MB

• Inputs: 文本、图像和音频
• Context: 基准测试中为 4096 个词元，内存足够时最高可达 128k
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 下载到你电脑上的模型文件，未提及其他
• Not for: 网页端的完整能力，因为模型卡说网页端支持更受限

Hugging Face 上的数据（2026年11月13日）

• 框架：litert-lm
• 最近 30 天下载：13,083
• 点赞：71
• 许可证：apache-2.0
• 基于：google/gemma-4-12B-it
• 标签：litert-lm

链接

• 模型：https://huggingface.co/litert-community/gemma-4-12B-it-litert-lm
• 文件：https://huggingface.co/litert-community/gemma-4-12B-it-litert-lm/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download litert-community/gemma-4-12B-it-litert-lm

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。