Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
把多种语言的文本转成嵌入向量,用于搜索、聚类、相似度、分类和重排序。适合做语义搜索或检索、并且能部署 27B 模型的开发者。
harrier-oss-v1-27b 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download microsoft/harrier-oss-v1-27b
harrier-oss-v1-27b 是微软多语言文本嵌入系列中最大的模型。它把一句话或一段文字转成稠密向量,采用仅解码器结构,使用最后一个 token 池化和 L2 归一化。你比较这些向量,就能找到含义相近的文本。它用对比学习在大量多语言数据上训练而成。
如果你要构建跨多种语言的搜索、推荐或文本分组功能,并且有能运行 27B 模型的硬件,它很适合开发者和数据团队。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件 | 搜索工程师 | 为查询和段落生成向量,再按得分给段落排序 | 对帮助文章做语义搜索 |
| 数据科学 | 分析师 | 把文本聚类,或衡量两段文字含义有多接近 | 按主题给调查回答分组 |
| 本地化 | 语言团队 | 在不同语言之间挖掘匹配的句子对 | 找出互为译文的句子对 |
| 客服 | 平台团队 | 检索相关段落并重排序 | 把问题匹配到已存的答案 |
如果你需要能写回复的模型,可以跳过它,因为它只输出向量。如果内存紧张,也可以跳过 27B 这个尺寸,因为这个系列还有 270m 和 0.6b 模型。
| 用途 | 谁用 | 得到什么 |
|---|---|---|
| 检索 | 搜索工程师 | 查询和段落之间的相似度得分 |
| 聚类 | 数据团队 | 可以按含义分组的向量 |
| 双语文本挖掘 | 语言团队 | 能把不同语言中匹配句子对齐的向量 |
| 分类 | 机器学习工程师 | 可以输入分类器的向量 |
pip install -U huggingface_hub hf download microsoft/harrier-oss-v1-27b
你给查询加上提示词编码,文档则不加,然后对两组向量做点积。模型卡的例子把结果乘以 100 来打印得分。仓库里的配置文件带有用于网页搜索、相似度和双语文本任务的现成提示词。
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("microsoft/harrier-oss-v1-27b", model_kwargs={"dtype": "auto"})query_embeddings = model.encode(queries, prompt_name="web_search_query") document_embeddings = model.encode(documents) scores = (query_embeddings @ document_embeddings.T) * 100 print(scores.tolist())
如果要用你自己的指令,直接传入即可。
model.encode(queries, prompt="Instruct: Retrieve semantically similar text\nQuery: ")
| 工具 | 作用 |
|---|---|
| SentenceTransformer | 加载模型,并自动设置 dtype |
| encode | 把一组文本变成嵌入向量 |
| prompt_name | 选择预设的指令,比如 web_search_query |
| last_token_pool | 使用原生 transformers 时,对最后一个 token 的状态做池化 |
你编码两个问题 "how much protein should a female eat" 和 "summit define",再加上回答它们的两段文字。脚本会打印一个得分表,每个问题一行。每一行里,匹配的段落应该得分最高。
嵌入就是把文本变成一串数字,让含义相近的文本靠得很近。第一次尝试时,可以运行模型卡里的两个问题的脚本,看看每个问题对应哪段文字得分更高。
如果你熟悉这个领域,要知道这是一个仅解码器的嵌入模型,使用最后一个 token 池化和 L2 归一化。用原生 transformers 时,每个查询都需要一句任务指令,而文档不需要。270m 和 0.6b 模型还用了来自更大嵌入模型的蒸馏,27b 模型的向量有 5,376 维。
把多种语言的文本转成嵌入向量,用于搜索、聚类、相似度、分类和重排序。适合做语义搜索或检索、并且能部署 27B 模型的开发者。
由 microsoft 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:harrier-oss-v1-27b 是微软多语言文本嵌入系列中最大的模型。它把一句话或一段文字转成稠密向量,采用仅解码器结构,使用最后一个 token 池化和 L2 归一化。你比较这些向量,就能找到含义相近的文本。它用对比学习在大量多语言数据上训练而成。
适合谁:如果你要构建跨多种语言的搜索、推荐或文本分组功能,并且有能运行 27B 模型的硬件,它很适合开发者和数据团队。
行业 | 谁在用 | 怎么用 | 例子
软件 | 搜索工程师 | 为查询和段落生成向量,再按得分给段落排序 | 对帮助文章做语义搜索
数据科学 | 分析师 | 把文本聚类,或衡量两段文字含义有多接近 | 按主题给调查回答分组
本地化 | 语言团队 | 在不同语言之间挖掘匹配的句子对 | 找出互为译文的句子对
客服 | 平台团队 | 检索相关段落并重排序 | 把问题匹配到已存的答案
如果你需要能写回复的模型,可以跳过它,因为它只输出向量。如果内存紧张,也可以跳过 27B 这个尺寸,因为这个系列还有 270m 和 0.6b 模型。
用在哪里:
用途 | 谁用 | 得到什么
检索 | 搜索工程师 | 查询和段落之间的相似度得分
聚类 | 数据团队 | 可以按含义分组的向量
双语文本挖掘 | 语言团队 | 能把不同语言中匹配句子对齐的向量
分类 | 机器学习工程师 | 可以输入分类器的向量
如何设置:
pip install -U huggingface_hub
hf download microsoft/harrier-oss-v1-27b
如何使用:你给查询加上提示词编码,文档则不加,然后对两组向量做点积。模型卡的例子把结果乘以 100 来打印得分。仓库里的配置文件带有用于网页搜索、相似度和双语文本任务的现成提示词。
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("microsoft/harrier-oss-v1-27b", model_kwargs={"dtype": "auto"})
query_embeddings = model.encode(queries, prompt_name="web_search_query")
document_embeddings = model.encode(documents)
scores = (query_embeddings @ document_embeddings.T) * 100
print(scores.tolist())
如果要用你自己的指令,直接传入即可。
model.encode(queries, prompt="Instruct: Retrieve semantically similar text\nQuery: ")
工具 | 作用
SentenceTransformer | 加载模型,并自动设置 dtype
encode | 把一组文本变成嵌入向量
prompt_name | 选择预设的指令,比如 web_search_query
last_token_pool | 使用原生 transformers 时,对最后一个 token 的状态做池化
示例:你编码两个问题 "how much protein should a female eat" 和 "summit define",再加上回答它们的两段文字。脚本会打印一个得分表,每个问题一行。每一行里,匹配的段落应该得分最高。
新手与专家:嵌入就是把文本变成一串数字,让含义相近的文本靠得很近。第一次尝试时,可以运行模型卡里的两个问题的脚本,看看每个问题对应哪段文字得分更高。
如果你熟悉这个领域,要知道这是一个仅解码器的嵌入模型,使用最后一个 token 池化和 L2 归一化。用原生 transformers 时,每个查询都需要一句任务指令,而文档不需要。270m 和 0.6b 模型还用了来自更大嵌入模型的蒸馏,27b 模型的向量有 5,376 维。
为查询写一句任务指令
编码查询和文档
池化最后一个 token 并归一化
用点积比较向量
按得分给段落排序
Title: 各模型的多语言 MTEB v2 得分
harrier-oss-v1-270m: 66.5 分
harrier-oss-v1-0.6b: 69.0 分
harrier-oss-v1-27b: 74.3 分
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download microsoft/harrier-oss-v1-27b
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| harrier-oss-v1-27b 本页 | 7,115 | 173 | 27B | mit | |
| harrier-oss-v1-0.6b共有 mteb · text-embeddings-inference · sentence-transformers | 218,439 | 338 | 596M | mit | |
| multilingual-e5-large共有 mteb · text-embeddings-inference · sentence-transformers | 7,120,555 | 1,284 | 560M | mit | |
| bge-small-en-v1.5共有 mteb · text-embeddings-inference · sentence-transformers | 45,750,548 | 671 | 33.4M | mit | |
| nomic-embed-text-v1.5共有 mteb · text-embeddings-inference · sentence-transformers | 11,809,681 | 994 | 137M | apache-2.0 | |
| bge-base-en-v1.5共有 mteb · text-embeddings-inference · sentence-transformers | 8,508,165 | 542 | 109M | mit |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。