Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
给每份文档回答查询的程度打分,支持八种语言,输入最长 8,192 个 token,让搜索或记忆系统把最匹配的结果排在前面。适合构建检索功能的开发者。
hs-rerank-1 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U sentence-transformers
hs-rerank-1 是为 Hindsight 项目打造的小型多语言重排序模型。它把一个查询和一份候选文档放在一起阅读,给出一个 0 到 1 之间的相关性分数。搜索或记忆系统可以用这些分数把最匹配的结果排到最上面。
适合运行搜索、检索或记忆功能,想用一个轻量模型对多种语言的结果排序的开发者。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件 | 搜索和检索工程师 | 对第一阶段搜索的前几名结果重新排序 | 为一个问题给候选段落排序 |
| AI 智能体 | 智能体开发者 | 挑出和当前请求相符的已存记忆 | 选择给用户看哪些笔记 |
| 客户支持 | 帮助台工具开发者 | 把客户问题匹配到最合适的文章 | 为西班牙语查询给帮助页面排序 |
| 研究 | 检索研究者 | 在多种语言上使用一个紧凑的基线 | 在混合语言数据上比较分数 |
如果你只需要为第一阶段搜索生成文本嵌入,可以跳过,因为这个模型是给配对打分,不生成嵌入。
| 用例 | 谁用 | 得到什么 |
|---|---|---|
| 结果重排序 | 搜索开发者 | 按 0 到 1 相关性分数排好的文档 |
| 记忆查找 | 智能体开发者 | 与问题最匹配的已存事实 |
| 多语言匹配 | 全球化产品团队 | 不同语言的查询和文档之间的分数 |
先准备好这些。
pip install -U sentence-transformers
pip install -U huggingface_hub hf download hindsight-ai/hs-rerank-1
用模型名创建一个 CrossEncoder,然后用一个查询和你的文档调用 rank。分数在 0 到 1 之间。传入恒等激活函数可以改为得到原始 logits。要在 Hindsight 里使用,请设置下面的环境变量。
from sentence_transformers import CrossEncoder
model = CrossEncoder("hindsight-ai/hs-rerank-1")
query = "¿Qué app de presupuesto estoy creando?"
documents = [
"El usuario quiere tooltips en su app de presupuesto.",
"El usuario corre los domingos por la mañana.",
]
print(model.rank(query, documents))
# [{'corpus_id': 0, 'score': 0.9647}, {'corpus_id': 1, 'score': 0.0003}]HINDSIGHT_API_RERANKER_PROVIDER=local HINDSIGHT_API_RERANKER_LOCAL_MODEL=hindsight-ai/hs-rerank-1
| 工具 | 作用 |
|---|---|
| rank | 把每份文档与查询对照打分并排序 |
| predict | 返回 0 到 1 之间的相关性分数 |
| activation_fn=torch.nn.Identity() | 返回原始 logits,而不是 0 到 1 的分数 |
| Text Embeddings Inference | 通过 HTTP 在 CPU 或 GPU 上提供模型服务 |
用西班牙语问你正在做哪个预算应用,并给出两条笔记。一条说用户想在预算应用里加提示框,另一条说用户周日早上跑步。第一条得分 0.9647,第二条得分 0.0003。
如果你是新手,重排序模型就是对搜索结果的第二次审视。第一次搜索会返回很多候选,这个模型把每一条和问题放在一起阅读并打分。先从上面简短的 Python 例子开始。
如果你熟悉这个领域,它是基于 mmBERT-small 的 cross-encoder。114M 参数中有 98M 是词元嵌入表,所以每次前向只运行一个 15M 参数的 transformer。每个配对的输入最长可达 8,192 个 token。权重以 FP16 存储,另一个分支上有 FP32 副本,还有带 int8 词表的 ONNX 导出。
给每份文档回答查询的程度打分,支持八种语言,输入最长 8,192 个 token,让搜索或记忆系统把最匹配的结果排在前面。适合构建检索功能的开发者。
由 hindsight-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:hs-rerank-1 是为 Hindsight 项目打造的小型多语言重排序模型。它把一个查询和一份候选文档放在一起阅读,给出一个 0 到 1 之间的相关性分数。搜索或记忆系统可以用这些分数把最匹配的结果排到最上面。
适合谁:适合运行搜索、检索或记忆功能,想用一个轻量模型对多种语言的结果排序的开发者。
行业 | 谁在用 | 怎么用 | 例子
软件 | 搜索和检索工程师 | 对第一阶段搜索的前几名结果重新排序 | 为一个问题给候选段落排序
AI 智能体 | 智能体开发者 | 挑出和当前请求相符的已存记忆 | 选择给用户看哪些笔记
客户支持 | 帮助台工具开发者 | 把客户问题匹配到最合适的文章 | 为西班牙语查询给帮助页面排序
研究 | 检索研究者 | 在多种语言上使用一个紧凑的基线 | 在混合语言数据上比较分数
如果你只需要为第一阶段搜索生成文本嵌入,可以跳过,因为这个模型是给配对打分,不生成嵌入。
用在哪里:
用例 | 谁用 | 得到什么
结果重排序 | 搜索开发者 | 按 0 到 1 相关性分数排好的文档
记忆查找 | 智能体开发者 | 与问题最匹配的已存事实
多语言匹配 | 全球化产品团队 | 不同语言的查询和文档之间的分数
如何设置:先准备好这些。
pip install -U sentence-transformers
pip install -U huggingface_hub
hf download hindsight-ai/hs-rerank-1
如何使用:用模型名创建一个 CrossEncoder,然后用一个查询和你的文档调用 rank。分数在 0 到 1 之间。传入恒等激活函数可以改为得到原始 logits。要在 Hindsight 里使用,请设置下面的环境变量。
from sentence_transformers import CrossEncoder
model = CrossEncoder("hindsight-ai/hs-rerank-1")
query = "¿Qué app de presupuesto estoy creando?"
documents = [
"El usuario quiere tooltips en su app de presupuesto.",
"El usuario corre los domingos por la mañana.",
]
print(model.rank(query, documents))
# [{'corpus_id': 0, 'score': 0.9647}, {'corpus_id': 1, 'score': 0.0003}]
HINDSIGHT_API_RERANKER_PROVIDER=local
HINDSIGHT_API_RERANKER_LOCAL_MODEL=hindsight-ai/hs-rerank-1
工具 | 作用
rank | 把每份文档与查询对照打分并排序
predict | 返回 0 到 1 之间的相关性分数
activation_fn=torch.nn.Identity() | 返回原始 logits,而不是 0 到 1 的分数
Text Embeddings Inference | 通过 HTTP 在 CPU 或 GPU 上提供模型服务
示例:用西班牙语问你正在做哪个预算应用,并给出两条笔记。一条说用户想在预算应用里加提示框,另一条说用户周日早上跑步。第一条得分 0.9647,第二条得分 0.0003。
新手与专家:如果你是新手,重排序模型就是对搜索结果的第二次审视。第一次搜索会返回很多候选,这个模型把每一条和问题放在一起阅读并打分。先从上面简短的 Python 例子开始。
如果你熟悉这个领域,它是基于 mmBERT-small 的 cross-encoder。114M 参数中有 98M 是词元嵌入表,所以每次前向只运行一个 15M 参数的 transformer。每个配对的输入最长可达 8,192 个 token。权重以 FP16 存储,另一个分支上有 FP32 副本,还有带 int8 词表的 ONNX 导出。
查询和一份文档一起输入
Cross-encoder 阅读这一对
输出一个相关性分数
文档按分数排序
注意事项:
Title: 模型卡西班牙语例子中的相关性分数
预算应用提示框: 0.9647 分
周日早上跑步: 0.0003 分
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download hindsight-ai/hs-rerank-1
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| hs-rerank-1 本页 | 1,148,007 | 6 | 114M | mit | |
| hs-embed-1共有 hindsight · modernbert · text-embeddings-inference | 22,412 | 7 | 112M | mit | |
| hs-decide-1-flash共有 hindsight · reranker · text-ranking | 858 | 20 | 752M | apache-2.0 | |
| AsteroRank-Lepton共有 reranker · text-ranking · sentence-transformers | 58 | 7 | 4.8B | cc-by-nc-4.0 | |
| paraphrase-multilingual-MiniLM-L12-v2共有 text-embeddings-inference · sentence-transformers · multilingual | 26,540,125 | 1,505 | 118M | apache-2.0 | |
| multilingual-e5-large共有 text-embeddings-inference · sentence-transformers · multilingual | 7,120,555 | 1,284 | 560M | mit |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。