AsteroRank-Lepton

AsteroRank-Lepton

为每份文档与搜索查询的相关度打分，可附带上下文，用来重新排序搜索结果。这是基于 Qwen3.5 构建的 4B 开放权重重排序模型，适合科学和通用搜索。

由 Asteromorph 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：AsteroRank-Lepton 是 Asteromorph 推出的重排序模型，基于 Qwen/Qwen3.5-4B 构建。你给它一个查询、可选的上下文和一份文档，它返回 0 到 1 之间的相关度分数，分数越高表示越匹配。它用来为科学主题和通用搜索重新排序搜索结果。

适合谁：适合搜索、检索和研究智能体系统的开发者，他们想在展示候选文档或把它们交给模型之前，按相关度重新排序。

Industry | Who uses it | How they use it | Example
软件 | 搜索工程师 | 在第一轮检索之后对候选文档重新排序 | 为一个查询重排十条结果
研究 | 科学家和实验室团队 | 找出与技术问题相符的论文段落 | 把一个化学查询匹配到摘要
AI 智能体 | 智能体开发者 | 让搜索智能体传入能让排序更准的上下文 | 提供一段简短摘要的研究智能体
教育 | 教学团队 | 为某个主题找出最好的学习材料 | 为一道课程问题排序阅读材料

如果你只需要第一轮关键词搜索，或需要商业使用，可以跳过它，因为它的许可证是非商业的。

用在哪里：

• SGLang、vLLM 和 Sentence Transformers，模型卡说它们从第一天起就支持
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• 调用重排序接口的搜索和检索流程

Use case | Who | What they get back
重排序结果 | 搜索工程师 | 按相关度从高到低排列的文档
带上下文的排序 | 智能体开发者 | 用到额外上下文段落的分数
仅查询排序 | 开发者 | 不提供上下文时只基于查询的分数

如何设置：

• Python，用来运行 Hugging Face 下载工具
• 能运行 4.8B 模型的 GPU，模型卡自己的测试用的是一块 NVIDIA B200
• 用来部署模型的 SGLang、vLLM 或 Sentence Transformers

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载模型文件。
3. 用 SGLang、vLLM 或 Sentence Transformers 启动服务。
4. 把查询、可选上下文和候选文档发送到重排序接口。

pip install -U huggingface_hub
hf download Asteromorph/AsteroRank-Lepton

如何使用：用模型卡测试过的命令，通过 SGLang 启动模型，然后向它发送重排序请求。模型卡保留了 Qwen3.5 的标准配置，所以 SGLang 不需要改代码。

PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True sglang serve \
  --model-path Asteromorph/AsteroRank-Lepton \
  --port 30000 \
  --attention-backend trtllm_mha \
  --mem-fraction-static 0.6 \
  --max-running-requests 64 \
  --max-mamba-cache-size 1280 \
  --cuda-graph-max-bs-decode 64 \
  --chunked-prefill-size 65536 \
  --max-prefill-tokens 65536 \
  --disable-prefill-cuda-graph

Tool | What it does
query | 你想让文档按其排序的搜索文本
instruct | 有助于排序的可选上下文
documents | 要打分的候选文本
top_n | 限制返回多少份排序后的文档

示例：你发送一个关于 para-selective borylation 的化学查询，附上一小段上下文和三份候选文档。服务器返回的分数是：第二份 0.6792，第一份 0.2814，第三份 0.0474，所以最接近的排在最前面。

新手与专家：先用一个查询和三份简短文档试一下，检查你预期的那份是否得分最高。一开始先不填上下文字段，看看仅用查询时的表现。

模型卡说模型保留了 Qwen3.5 的标准配置，vLLM 通过它的 pooling 运行器把它当作单标签分类器来部署。模型卡把给模型提供上下文段落称为上下文重排序。该系列的博客文章还解释了如何提示搜索智能体，让它写出有用的上下文。

发送查询、上下文和文档
模型为每份文档打分
分数在 0 到 1 之间
返回排好序的文档

注意事项：

• License: CC BY-NC 4.0，属于非商业许可
• Cost to run: 没有提到费用，不过模型卡的测试用了高端 GPU
• Data it reaches: 从 Hugging Face 下载文件，之后在你部署它的地方运行
• Not for: 在所述许可证下的商业使用
• Not for: 在同一个 SGLang 服务器上把重排序请求与聊天或生成调用混在一起，模型卡说这会让调度器崩溃
• Limits: 把分块预填充大小保持在 174,764 以下，模型卡给出这是安全上限

Hugging Face 上的数据（2026年11月13日）

• 任务：text ranking
• 框架：transformers
• 参数量：4.8B
• Weights: about 9.7 GB in BF16; about 2.4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：58
• 点赞：7
• 许可证：cc-by-nc-4.0
• 语言：en
• 基于：Qwen/Qwen3.5-4B
• Quantized versions: 2
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, reranker, sglang, sentence-transformers, text-ranking

链接

• 模型：https://huggingface.co/Asteromorph/AsteroRank-Lepton
• 文件：https://huggingface.co/Asteromorph/AsteroRank-Lepton/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Asteromorph/AsteroRank-Lepton

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。