SPARSEUP

SPARSEUP

Linkup 推出的 188M 参数英文稀疏检索模型，把查询和文档变成带权重的词表用于搜索。它在 BEIR 上得 56.4 分，是 1.5 亿参数以下公开结果中最好的。

由 Linkup-Platform 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SPARSEUP 是用于搜索的学习型稀疏嵌入模型。它把查询或文档变成带权重的词汇表项列表，两个列表之间的点积就是匹配得分。

Linkup 把它做成与 LightOn 的 DenseOn 和 LateOn 并列的模型。三者共用同一个主干系列和微调数据，所以几种设计可以干净地比较。它从基于 ModernBERT 的 LateOn-unsupervised 出发。

适合谁：适合想要能配合倒排索引类系统的开放稀疏检索器、需要快速查找的英语检索的搜索工程师和研究者。

Industry | Who uses it | How they use it | Example
软件 | 搜索工程师 | 把文档作为稀疏词权重来建索引 | 帮助中心的搜索框
研究 | 信息检索研究者 | 比较稀疏、稠密和延迟交互模型 | 在同等条件下运行 BEIR 测试
电商 | 检索团队 | 把查询与商品文本匹配 | 能扩展相关词的商品搜索
企业 | 知识库团队 | 快速检索内部文档 | 搜索英文手册

如果你需要英语以外的语言，或者想要稠密向量，可以跳过它，因为这个模型输出的是稀疏词权重。

用在哪里：它在 Python 里通过 transformers 运行，也可以作为 Sentence Transformer 使用，模型卡说，称为 Seismic 的专用基础设施能在 MS MARCO 上达到亚毫秒延迟。

• 装有 transformers 的 Python
• Sentence Transformers，模型卡列出了它
• Seismic，作者使用的近似稀疏搜索引擎

Use case | Who | What they get back
查询编码 | 搜索工程师 | 每个查询对应的词到权重字典
文档编码 | 索引流水线 | 可存储和搜索的稀疏权重
得分检查 | 研究者 | 查询与文档之间的点积得分

如何设置：你需要 Python 和 transformers。这个模型使用自定义代码，所以加载它需要信任仓库里的代码。

• 带 pip 和 transformers 的 Python
• F32 权重约需 754 MB 磁盘空间
• 愿意运行仓库里的自定义代码

1. 安装 Python 和 transformers。
2. 也可以先用 Hugging Face 的命令下载模型文件。
3. 用 trust_remote_code 加载模型，然后对文本编码。

pip install -U huggingface_hub
hf download Linkup-Platform/linkup-sparseup-embed-v1

如何使用：加载模型，对查询和文档编码，再给它们打分。encode_to_dict 方法为每段文本返回词元到权重的字典，kind 参数选择查询或文档前缀。

from transformers import AutoModel
model = AutoModel.from_pretrained("Linkup-Platform/linkup-sparseup-embed-v1", trust_remote_code=True)

queries = ["England football player highest paid", "NYC capital which country?"]
model.encode_to_dict(queries, kind="query", round_to=2, top_k=10)

documents = [
    "Harry Kane is the England captain and among the highest-paid footballers.",
    "New York City is in the United States, not a national capital.",
]
q = model.encode(queries, kind="query")
d = model.encode(documents, kind="document")
print(model.score(q, d))
#tensor([[113.2993,   0.0000],
#        [  7.0030,  99.1290]])

Tool | What it does
encode_to_dict | 为每段文本返回带权重的词项，权重高的在前
encode | 为查询或文档返回稀疏向量
score | 计算查询与文档之间的点积得分

示例：你对两个查询编码，一个问英格兰收入最高的足球运动员，一个问纽约是哪个国家的首都。你会得到 England、football、paid 这样带权重的词项，以及模型自己加入的相关词。

新手与专家：如果你是新手，对一个查询试试 encode_to_dict，读一读带权重的词项。你会看到查询里的词和相关的词，稀疏搜索就是这样找到匹配的。

如果你熟悉这个领域：掩码语言模型头给词表打分，平移的对数 ReLU 让结果保持稀疏。每个位置在最大池化前保留前 12 个词项。随后词表折叠把词表从约 50k 缩到 34k。打分是点积，查询和文档的前缀参与注意力但不参与池化。

给文本加上查询或文档前缀
MLM 头给词表项打分
每个位置保留前 12 个词项
最大池化并折叠大小写变体
稀疏向量之间做点积

注意事项：在不含 MS MARCO 的 BEIR 上，SPARSEUP 得 56.4 分，领先于模型卡列出的其他 1.5 亿参数以下的稀疏编码器。模型卡还和使用精确搜索的稠密及延迟交互模型做了比较，那些得分更高。

Title: 不含 MS MARCO 的 BEIR 平均分，nDCG@10
SPARSEUP: 56.4 分
opensearch-neural-sparse-encoding-doc-v3-gte: 54.6 分
ModernBERT-VT: 52.4 分
opensearch-neural-sparse-encoding-v1: 52.4 分
splade-v3: 51.7 分
granite-embedding-30m-sparse: 50.6 分

• License: Apache 2.0
• Cost to run: 未提及费用
• Data it reaches: 你编码的文本，以及你下载的模型文件
• Not for: 英语以外的语言

Hugging Face 上的数据（2026年11月13日）

• 任务：feature extraction
• 框架：transformers
• 参数量：188M
• Weights: about 754 MB in F32; about 94 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：6,627
• 点赞：63
• 许可证：apache-2.0
• 语言：en
• 基于：lightonai/LateOn-unsupervised
• 标签：transformers, safetensors, modernbert, feature-extraction, splade, sparse, retrieval, sentence-transformers, sentence-similarity, text-embeddings-inference

链接

• 模型：https://huggingface.co/Linkup-Platform/linkup-sparseup-embed-v1
• 文件：https://huggingface.co/Linkup-Platform/linkup-sparseup-embed-v1/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Linkup-Platform/linkup-sparseup-embed-v1

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。