AsteroRank-Lepton-GGUF

AsteroRank-Lepton-GGUF

用面向 STEM 和通用搜索的重排序模型按相关度给搜索结果排序，以 GGUF 文件提供，可在 llama.cpp 中运行。适合想在本地排序的开发者和研究者，仅限非商业使用。

由 Asteromorph 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 AsteroRank-Lepton 的 GGUF 版本，一个面向 STEM 和通用搜索的重排序模型。重排序模型接收一个查询和一组段落，按它们回答问题的程度排序。这些文件在 llama.cpp 中运行，所以排序在你自己的机器上完成。

适合谁：构建搜索或检索流程的开发者，以及需要按问题给技术段落排序的研究者。

Industry | Who uses it | How they use it | Example
软件 | 搜索工程师 | 在展示结果前对检索到的段落重新排序 | 针对用户查询对候选文档排序
科学 | 研究者 | 针对技术问题给摘要或论文片段排序 | 针对硼化查询给化学段落排序
智能体 | 智能体开发者 | 在查询之外再传入一行简短的上下文 | 一个为正在写的文章给来源排序的智能体

如果你需要商业使用，可以跳过它，因为许可证是非商业的。

用在哪里：

• llama.cpp：Windows、macOS 或 Linux 上的 llama-server 程序
• Python 脚本：随文件提供的 rerank.py 客户端
• GPU 或 CPU：模型卡展示了把所有层卸载到 GPU 的参数

Use case | Who | What they get back
为查询给段落排序 | 开发者 | 按相关度分数排好序的列表
带上下文排序 | 智能体开发者 | 会参考一小段上下文文字的分数
限制结果数量 | 搜索工程师 | 用 top_n 设置只返回最靠前的几个段落

如何设置：你需要一个支持 Qwen3.5、包含 llama-server 的当前 llama.cpp 版本。普通版本就行，不需要分支或补丁。你还需要 Python 3.8 或更高版本以及 jinja2。

• 带 llama-server 的 llama.cpp
• Python 3.8 或更高版本和 jinja2 包
• 一个量化版本的磁盘空间，Q4_K_M 约 3.1 GB

1. 安装 Hugging Face hub 工具。
2. 下载一个量化版本和客户端脚本。
3. 在该文件上启动 llama-server。

pip install -U huggingface_hub

先在 它的密钥设置 里填上你自己的值。

如何使用：从 rerank.py 导入客户端类，让它指向你正在运行的 llama-server。用一个查询和一组文档调用它的 rerank 方法，如果有上下文文字也一起传入。

from rerank import GGUFReranker

每个结果包含文档、一个 0 到 1 之间的相关度分数和它的原始序号，按相关度从高到低排序。

Tool | What it does
GGUFReranker | rerank.py 里的客户端类，通过服务器给段落打分
rerank | 接收查询、文档和可选的上下文，返回排好序的结果
top_n | 限制返回多少个结果
-ngl 99 | 把模型的所有层卸载到 GPU
-np | 设置并行运行多少个请求

示例：你让它针对一个关于芳基磺酸盐离子对对位选择性硼化的查询，给三段简短的化学文字排序，并加上一行关于文章的上下文。你会得到按分数排序的三个段落，每个都带着它的序号。

新手与专家：如果你是新手，可以把它看成搜索里的一个排序步骤。下载 Q4_K_M 文件和客户端，启动服务器，对一个问题给三个短段落排序。

如果你熟悉这个领域，分数是模型在提示末尾 yes 和 no 两个 logit 的差，这个提示作为聊天模板内置在文件里。服务器自带的重排序接口不接收上下文，所以 rerank.py 改走补全接口，读取下一个 token 的对数概率。

下载一个量化版本和 rerank.py
在该文件上启动 llama-server
发送查询、文档和上下文
读取从高到低排序的分数

注意事项：BF16 以下的量化版本用仓库里附带的重要性矩阵文件制作。越小的量化版本越是用质量换体积。

Title: 各量化版本的文件大小，单位 GB
BF16: 9.7 GB
Q8_0: 5.2 GB
Q6_K: 4.0 GB
Q5_K_M: 3.5 GB
Q4_K_M: 3.1 GB
Q3_K_M: 2.5 GB
Q2_K: 2.1 GB
IQ2_XXS: 1.7 GB

• License: CC BY-NC 4.0，与原重排序模型相同。它的基础模型 Qwen3.5-4B 采用 Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你发给自己运行的 llama-server 的查询、文档和上下文
• Not for: 商业使用，许可证不允许

Hugging Face 上的数据（2026年11月14日）

• 任务：text ranking
• 框架：llama.cpp
• 参数量：4.8B
• Weights: about 2.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：626
• 点赞：3
• 许可证：cc-by-nc-4.0
• 语言：en
• 基于：Asteromorph/AsteroRank-Lepton
• 标签：llama.cpp, gguf, reranker, qwen3.5, llama-cpp, text-ranking, conversational

链接

• 模型：https://huggingface.co/Asteromorph/AsteroRank-Lepton-GGUF
• 文件：https://huggingface.co/Asteromorph/AsteroRank-Lepton-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Asteromorph/AsteroRank-Lepton-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。