nomic-embed-text-v1.5-GGUF

nomic-embed-text-v1.5-GGUF

通过 llama.cpp 在你自己的机器上把句子变成向量，使用紧凑的 GGUF 文件，适合搜索和 RAG 提问。适合想要本地文本嵌入的开发者。

由 nomic-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：nomic-embed-text-v1.5-GGUF 收录了 nomic-embed-text-v1.5 嵌入模型的、兼容 llama.cpp 的 GGUF 文件。嵌入模型把文本变成一串数字，这样你就能按含义比较句子，用于搜索或检索。这个仓库提供了多种量化版本，从 48 MiB 一直到完整的 262 MiB。

适合谁：如果你是想在自己的硬件上用 llama.cpp 得到文本嵌入的开发者，比如给 RAG 应用嵌入用户的问题，它适合你。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在 RAG 应用里嵌入用户的问题 | 在搜索文档前先嵌入问题
搜索 | 搜索工程师 | 按含义比较句子 | 嵌入文本文件里的一批句子
边缘设备 | 爱好者 | 在普通机器上用小文件运行嵌入 | 使用 81 MiB 的 Q4_K_M 文件
研究 | NLP 研究人员 | 把量化版本与原版比较 | 阅读模型卡里的误差表

如果你在 Python 里用 sentence-transformers，请改用原始模型，可以跳过这些文件。

用在哪里：你用 llama.cpp 自带的 embedding 示例运行它，在 Windows、macOS 或 Linux 的终端里。模型卡指出一个 2/15/2024 的 llama.cpp 提交是兼容的。

• llama.cpp，以及它的 embedding 示例程序
• Windows、macOS 或 Linux 的终端
• 调用 llama.cpp 来获取向量的 RAG 或搜索应用

使用场景 | 谁用 | 得到什么
问题嵌入 | RAG 构建者 | 每个用户问题的向量
批量嵌入 | 搜索工程师 | 一个文件里多段文本的向量
小体积运行 | 爱好者 | 一个能在本地运行的紧凑量化模型

如何设置：你需要模型卡说可用的 llama.cpp 版本、用于下载的 Python，以及其中一个 GGUF 文件。这个仓库包含所有量化版本，所以请选择你想要的那个。

• 带 embedding 示例的 llama.cpp
• Python 和 Hugging Face hub 包，用于下载
• 一个 GGUF 文件，比如 F16 的那个

1. 安装 Hugging Face hub 包。
2. 下载仓库文件。
3. 构建或安装带 embedding 示例的 llama.cpp。
4. 对你的文本运行 embedding 命令。

pip install -U huggingface_hub
hf download nomic-ai/nomic-embed-text-v1.5-GGUF

如何使用：每段文本都以任务前缀开头，比如 search_query，因为模型卡说模型需要前缀。下面这条命令计算单个嵌入。

./embedding -ngl 99 -m nomic-embed-text-v1.5.f16.gguf -c 8192 -b 8192 --rope-scaling yarn --rope-freq-scale .75 -p 'search_query: What is TSNE?'

如果有多段文本，就每行一段放进一个文件，再用文件参数传入。总词元数必须在上下文长度以内。

search_query: What is TSNE?
search_query: Who is Laurens Van der Maaten?

./embedding -ngl 99 -m nomic-embed-text-v1.5.f16.gguf -c 8192 -b 8192 --rope-scaling yarn --rope-freq-scale .75 -f texts.txt

Tool | What it does
-m | 指定要加载的 GGUF 模型文件
-c 8192 | 要求完整的 8192 词元上下文
--rope-scaling yarn | 示例使用的上下文扩展方法
-p | 要嵌入的文本，带着它的任务前缀
-f | 一个含有多段待嵌入文本的文件

示例：你运行单条命令，问题是关于 TSNE 的。它会打印这个问题的嵌入。用批量文件时，示例程序只显示前三个嵌入。

新手与专家：如果你刚接触，嵌入就是代表一段文本含义的一串数字，GGUF 是 llama.cpp 读取的文件格式。第一件小事是把单个嵌入的命令运行一次。

如果你熟悉这个领域，llama.cpp 对这些文件默认使用 2048 词元的上下文。完整的 8192 需要一种上下文扩展方法，比如命令里的 yarn，因为 Transformers 模型用的 Dynamic NTK-Aware RoPE 缩放在这里不可用。

输入带任务前缀的文本
llama.cpp 加载 GGUF 文件
embedding 程序计算向量
打印出嵌入

注意事项：模型卡用均方误差衡量每个量化版本与 Sentence Transformers 版本的偏差。文件越小，偏差越大。F32 最接近，为 6.08e-11。

Title: 与 Sentence Transformers 相比的均方误差
量化 | 大小 | MSE
Q2_K | 48 MiB | 2.33e-03
Q3_K_M | 65 MiB | 8.26e-04
Q4_0 | 75 MiB | 6.32e-04
Q4_K_M | 81 MiB | 2.42e-04
Q5_K_M | 95 MiB | 6.55e-05
Q6_K | 108 MiB | 5.58e-05
Q8_0 | 140 MiB | 5.79e-06
F16 | 262 MiB | 4.21e-10

Title: 文件大小，单位 MiB
Q2_K: 48 MiB
Q3_K_M: 65 MiB
Q4_K_M: 81 MiB
Q5_K_M: 95 MiB
Q6_K: 108 MiB
Q8_0: 140 MiB
F16: 262 MiB
F32: 262 MiB

• License: Apache-2.0
• Limits: 默认 2048 词元的上下文，模型卡列出的语言是英语
• Cost to run: 没有提到任何 API 密钥或付费服务
• Data it reaches: 下载来自 Hugging Face，模型在你自己的机器上处理你给它的文本
• Not for: 不带任务前缀的文本，或比模型卡兼容日期新得多的 llama.cpp 版本

Hugging Face 上的数据（2026年11月13日）

• 任务：sentence similarity
• 参数量：137M
• Weights: about 68 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：522,653
• 点赞：142
• 许可证：apache-2.0
• 语言：en
• 基于：nomic-ai/nomic-embed-text-v1.5
• Quantized versions: 1
• 标签：gguf, feature-extraction, sentence-similarity

链接

• 模型：https://huggingface.co/nomic-ai/nomic-embed-text-v1.5-GGUF
• 文件：https://huggingface.co/nomic-ai/nomic-embed-text-v1.5-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download nomic-ai/nomic-embed-text-v1.5-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。