embeddinggemma-2-GGUF

embeddinggemma-2-GGUF

把文字变成 768 维向量，用于设备端的搜索、检索和聚类。基础模型还支持图像、视频和音频。由 Unsloth 打包成 GGUF。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：embeddinggemma-2-GGUF 是 Unsloth 对 EmbeddingGemma 2 的 GGUF 打包，后者是 Google DeepMind 的嵌入模型。嵌入模型会把输入变成一串 768 个数字，让相似的东西彼此靠近。基础模型在同一个共享空间里处理文字、代码、图像、视频和音频，设计目标是手机和笔记本电脑。

适合谁：给在用户自己硬件上运行的应用加入语义搜索、检索或聚类的开发者。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 加入设备端语义搜索 | 把输入的查询匹配到保存的笔记
AI 工程 | RAG 构建者 | 为检索增强生成建立文档索引 | 嵌入段落并取回最接近的几段
数据 | 分析师 | 按含义对条目聚类或分类 | 把相似的文档分到一起

如果你需要会写文字的模型，可以跳过它，因为它只产生向量。

用在哪里：

• 手机和笔记本电脑，模型卡把它们列为目标硬件
• 在你自己的电脑上加载 GGUF 文件的程序
• 搜索、检索增强生成、分类和聚类功能

Use case | Who | What they get back
语义搜索 | 应用开发者 | 把查询匹配到最接近内容的向量
聊天用的检索 | RAG 构建者 | 取回正确段落的嵌入
聚类 | 分析师 | 含义相同的条目分组

如何设置：

• 带 pip 的 Python
• 一个能加载 GGUF 文件的程序
• 4-bit 约 136 MB 的磁盘空间（估算值）

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 在兼容 GGUF 的程序里加载它们，并按 Unsloth 的运行指南操作。

pip install -U huggingface_hub
hf download unsloth/embeddinggemma-2-GGUF

如何使用：把你的输入交给加载好的模型，保存它返回的向量。给文字加一个简短的指令前缀，让向量适合你的任务，比如搜索或分类。要节省存储，可以把向量截短成 512、256 或 128 个数字。

示例：你嵌入一条简短的搜索查询和几条保存的笔记，再比较向量找出最接近的那条笔记。模型卡没有给出示例，所以这只是示意搜索用法。

新手与专家：如果你是新手，先嵌入几句话，比较哪些最接近。向量靠得近就表示含义相似。在围绕它规划项目之前，先确认你的运行环境支持这个模型。

如果你是专家，EmbeddingGemma 2 建立在 Gemma 4 之上。它有 24 层的文本主干，模型宽度为 512，使用均值池化，并有一个从 512 到 768 的投影。170M 和 300M 参数的视觉和音频编码器只在需要时加载。上下文窗口是 8,192 个 token，Matryoshka 训练支持更短的向量，模型卡称最多可节省 6 倍存储。

你发送文字或其他支持的输入
模型生成一个 768 个数字的向量
你保留它，或截短成 512、256 或 128
你比较向量来做搜索或聚类

注意事项：模型卡说它理解 100 多种语言，在代码任务上比前一代好约 14%。在多语言 MTEB 文本基准上，它得 61.36，第一代是 61.15。Unsloth 说它的 Dynamic 3.0 方法让这些量化版比其他领先的量化版更准确。

Title: MTEB 代码得分，NDCG@10
EmbeddingGemma 2: 78.68
EmbeddingGemma 1: 68.76

• License: Apache 2.0，与 Hugging Face 记录一致。
• Cost to run: 没有提到 API 密钥或账号。
• Data it reaches: 下载会访问 Hugging Face。模型只读取你给它的输入。
• Not for: 以为这些文件支持图像、视频和音频输入。记录列出 271M 参数，接近 270M 的文本模型，所以请先确认。

Hugging Face 上的数据（2026年11月13日）

• 任务：feature extraction
• 参数量：271M
• Weights: about 136 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：96,479
• 点赞：371
• 许可证：apache-2.0
• 基于：google/embeddinggemma-2
• 标签：gguf, embedding, feature-extraction, multimodal-embedding, multimodal, vision, audio, video, image-feature-extraction, audio-feature-extraction, video-feature-extraction, sentence-similarity

链接

• 模型：https://huggingface.co/unsloth/embeddinggemma-2-GGUF
• 文件：https://huggingface.co/unsloth/embeddinggemma-2-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/embeddinggemma-2-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。