pplx-embed-v2-context-9b

pplx-embed-v2-context-9b

把文本、图像和文档页面转成用于搜索的向量，还能在嵌入每个分块时参考它所在的整篇文档。适合为长文档做检索的开发者。

由 perplexity-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：pplx-embed-v2-context-9b 是 perplexity-ai 的嵌入模型，用于在文本、图像和文档页面上做搜索。在上下文模式下，它嵌入文档的每个分块时会看到分块周围的文字。在非上下文模式下，每个文本输入单独嵌入。

适合谁：适合为长文档（包括扫描页）搭建搜索，并希望得到可以放进标准最近邻索引的向量的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 搜索工程师 | 嵌入文档分块和查询，做稠密检索 | 为产品文档建索引，找出能回答问题的分块
研究 | 检索研究者 | 对比上下文与非上下文嵌入 | 用两种方式嵌入同样的分块，再给一个查询打分
文档密集型团队 | 处理扫描页的开发者 | 嵌入页面图像，并与文字查询匹配 | 找出与一个书面问题相符的页面

需要聊天模型或文本生成的人可以跳过，因为它只产出嵌入向量。

用在哪里：

• 带 transformers 的 Python：模型通过 AutoModel 连同自带的自定义代码一起加载。
• CUDA GPU：来源里的示例把模型移到了 cuda。
• 稠密最近邻索引：分块后的图像可以通过标准索引检索。
• Windows、macOS 或 Linux：下载步骤在这三个系统上都能用 Python 完成。

使用场景 | 谁用 | 得到什么
文档搜索 | 搜索开发者 | 每个分块一个向量，可与查询向量打分
页面图像搜索 | 处理扫描页的开发者 | 可与文字查询匹配的页面图像嵌入
混合模型方案 | 已在用 0.6B 模型的团队 | 用一个模型嵌入文档，用另一个模型查询，维度为 1024

如何设置：

先准备好：

• Python 和 pip。
• transformers 5.4.0 或更新版本，加上 torch、numpy、safetensors、tqdm、Pillow 和 torchvision。
• 可选：flash-linear-attention 和 causal-conv1d，可以加快线性注意力层。
• 如果照着示例做，需要一块 CUDA GPU，因为示例把模型移到了 cuda。

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载模型文件。
3. 安装上面列出的依赖。
4. 用 AutoModel 加载模型，并把 trust_remote_code 设为 True，因为它使用自定义代码。

pip install -U huggingface_hub
hf download perplexity-ai/pplx-embed-v2-context-9b

如何使用：

把每篇文档作为分块列表传给 encode，把查询传给 encode_queries。在上下文模式下，分块不应重叠。用 encode 去嵌入查询会降低检索质量，而且不会有任何报错。向量输出时没有归一化。你可以直接算余弦相似度，或者把 normalize_embeddings 设为 True，再把向量相乘做点积。

from transformers import AutoModel

model = AutoModel.from_pretrained(
    "perplexity-ai/pplx-embed-v2-context-9b",
    trust_remote_code=True,
).to("cuda")

# Two documents, consisting of several chunks
documents = [
    [
        "Curiosity begins in childhood with endless questions about the world.",
        "As we grow, curiosity drives us to explore new ideas.",
        "Scientific breakthroughs often start with a curious question.",
    ],
    [
        "The curiosity rover explores Mars searching for ancient life.",
        "Each discovery on Mars sparks new questions about the universe.",
    ],
]

# Contextual mode
# One (chunk_count, 2048) array per document:
# chunk_embeddings[0].shape == (3, 2048), chunk_embeddings[1].shape == (2, 2048)
chunk_embeddings = model.encode(documents, normalize_embeddings=True)

# Each query is a single-chunk row.
queries = [["What drives scientific breakthroughs?"]]
query_embeddings = model.encode_queries(queries, normalize_embeddings=True)

scores = chunk_embeddings[0] @ query_embeddings[0][0]

Title: 来源中提到的调用和选项
工具 | 作用
encode | 嵌入文档分块，每篇文档得到一个向量数组
encode_queries | 嵌入查询，每个查询是只有一个分块的一行
encode_images | 把页面图像作为上下文分块嵌入，每个水平条带一个嵌入
batch_size | 设定一次处理多少文档或查询，默认 32

示例：

你把两篇文档嵌入为分块列表，一篇讲好奇心与科学，一篇讲火星车。然后你编码查询 "What drives scientific breakthroughs?"，并与第一篇文档的分块向量做点积。你会得到每个分块一个分数，取最高的那个。

新手与专家：

嵌入模型把文本或图像变成一串数字，让意思相近的内容靠得更近。一个好的第一步是嵌入几个短分块和一个问题，看看哪个分块得分最高。

训练针对 1024 和 2048 两种向量大小，用的是 Matryoshka 式损失。要得到 1024 维，保留每个原始向量的前 1024 个数，再对缩短后的向量做归一化。其他截断大小没有训练过。文本 API 不会截断输入，所以长文档需要你自己切分。

把每篇文档切成互不重叠的分块
用 encode 编码分块
用 encode_queries 编码每个查询
用余弦相似度或点积比较

注意事项：

• 体量：84 亿参数，F32 权重约 33.6 GB。
• 维度：默认 2048。1024 前缀与 0.6B 上下文模型共享同一个空间。
• 输出：原生输出未归一化的 int8 量化嵌入。
• License: mit
• Cost to run: 没有提到 API 密钥、账号或付费服务，但示例需要一块 CUDA GPU。
• Data it reaches: 你从 Hugging Face 下载的文件，以及你嵌入的文本和图像。开启 trust_remote_code 时会运行自定义代码。
• Not for: 文本生成、上下文模式下重叠的分块，或用 encode 编码查询。

Hugging Face 上的数据（2026年11月13日）

• 任务：feature extraction
• 框架：transformers
• 参数量：8.4B
• Weights: about 33.6 GB in F32; about 4.2 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：766
• 点赞：16
• 许可证：mit
• 基于：perplexity-ai/pplx-embed-v2-late-9b
• 标签：transformers, safetensors, pplx_contextual_qwen3_5, feature-extraction, sentence-similarity, contextual-embeddings, multilingual

链接

• 模型：https://huggingface.co/perplexity-ai/pplx-embed-v2-context-9b
• 文件：https://huggingface.co/perplexity-ai/pplx-embed-v2-context-9b/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download perplexity-ai/pplx-embed-v2-context-9b

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。