SlideOn

SlideOn

LightOn 推出的英语稀疏检索模型，把查询和文档变成稀疏向量，用于倒排索引搜索。适合做英文文本检索的搜索工程师和开发者。

由 lightonai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SlideOn 是 LightOn 推出的英语稀疏检索模型，有 174 million 参数。它把每个查询和每份文档变成 32,768 维的稀疏向量，搜索系统可以把向量放进倒排索引，按点积给匹配结果排序。它以 LightOn 的 DenseOn 模型为起点，先做稀疏自编码器预训练，再做检索微调。

适合谁：适合检索英文文本、又想要能放进传统倒排索引的向量的搜索工程师和开发者。比较稀疏检索和稠密检索的研究者也可以把它当作又一个数据点。

Title: 谁会用它
Industry | Who uses it | How they use it | Example
搜索 | 搜索工程师 | 把稀疏向量存进倒排索引 | 保存每份文档的活跃潜在维度，并按查询查找倒排列表
AI 应用 | 为语言模型做检索的开发者 | 为问题取回英文段落 | 在写出回答之前先取出最匹配的文档
研究 | 检索研究者 | 对比稀疏检索和稠密检索 | 在 BEIR-15 评测集上测试这个模型

如果你的文本是多语言、很长或主要是代码，可以跳过它。模型卡指向它的同系列模型 mSlideOn 来处理这些情况。

用在哪里：Hugging Face 的记录把 sentence-transformers 列为它的库，所以 Python 是自然的使用场所。这些稀疏向量也适合任何基于倒排索引的搜索系统。

• Python 加 sentence-transformers 库
• 使用倒排索引的搜索系统
• Windows、macOS 或 Linux 加 Python，用来下载文件

Title: 它能做的事
Use case | Who | What they get back
英文文档搜索 | 搜索工程师 | 按点积打分排序的文档
更低的存储和搜索成本 | 平台团队 | 查询时无需重新训练就能裁剪的向量
检索研究 | 研究者 | 可与稠密模型对比的分数

如何设置：你需要带 pip 的 Python 和 sentence-transformers 库。先从 Hugging Face 取文件，再按模型卡的说明调用加载。

• 带 pip 的 Python
• sentence-transformers 库
• 足够的磁盘空间，F32 权重大约 697 MB

1. 安装 Hugging Face 的下载工具。
2. 把模型文件下载到你的电脑。
3. 按模型卡的说明，通过 sentence-transformers 加载模型。

pip install -U huggingface_hub
hf download lightonai/SlideOn

如何使用：用这个模型编码你的查询和文档，得到稀疏向量。把每份文档的活跃维度存进倒排索引。搜索时，查询的维度选出倒排列表，它们的权重累加成文档得分。输入最长可达 8,192 个 token，查询和文档的稀疏度可以分别设置。

示例：开发者为一批英文文档建立索引，然后用这个模型编码用户的问题。在索引上做点积搜索，返回最匹配的文档。当查询限制在 64 个非零维度、文档限制在 512 个时，模型卡里的得分几乎不变。

新手与专家：如果你是新手，稀疏检索就像关键词搜索，只不过关键词是模型学出来的，而不是从页面上读出来的。先下载文件，再读模型卡里关于编码的部分。

如果你熟悉这个领域，一个学出来的线性编码器把每个 DenseOn token 表示映射到前 32 个激活，再过 ReLU。跨 token 的最大池化给每段文本一个向量。查询和文档联合的 Matryoshka 训练让剪枝后质量保持，所以你可以在推理时调节成本。

查询或文档文本输入
构建 DenseOn token 表示
学出来的编码器保留前 32 个激活
最大池化得到一个稀疏向量
对索引做点积给文档排序

注意事项：模型卡把 BEIR-15 得分写成 15 个数据集上的平均 nDCG@10，越高越好。限制非零值数量能降低检索成本，得分变化很小。

Title: BEIR-15 得分，nDCG@10
SlideOn unpruned: 56.68
SlideOn docs capped at 512: 56.98
SlideOn queries 64, docs 512: 56.66
DenseOn: 56.20

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 来自 Hugging Face 的模型文件，以及你选择编码的文本
• Not for: 多语言、长上下文或代码检索，模型卡为这些情况指向 mSlideOn

Hugging Face 上的数据（2026年11月13日）

• 任务：feature extraction
• 框架：sentence-transformers
• 参数量：174M
• Weights: about 697 MB in F32; about 87 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：830
• 点赞：18
• 许可证：apache-2.0
• 语言：en
• 基于：lightonai/DenseOn
• Quantized versions: 1
• 标签：sentence-transformers, safetensors, slideon, sparse, sentence-similarity, custom-code, sparse-retrieval, matryoshka, feature-extraction

链接

• 模型：https://huggingface.co/lightonai/SlideOn
• 文件：https://huggingface.co/lightonai/SlideOn/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download lightonai/SlideOn

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。