all-mpnet-base-v2
sentence-transformers · 工具包
把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。
把约 100 种语言的文本变成向量,让你能跨语言比较含义,用于搜索和匹配。适合构建多语言检索的开发者。
multilingual-e5-base 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download intfloat/multilingual-e5-base
multilingual-e5-base 把一段文本变成一串数字,也就是嵌入向量,让你能跨语言按含义比较文本。它有 12 层,生成的向量大小为 768。Hugging Face 标注它有 278M 参数。
它适合要在多种语言的文本上做搜索、匹配或分组的开发者和数据团队。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件 | 搜索工程师 | 为文档和查询生成嵌入向量,再按分数给文档排序 | 找出能回答另一种语言所问问题的段落 |
| 客户支持 | 客服团队 | 把客户的问题匹配到最接近的帮助文章 | 把一个英文问题匹配到中文文章 |
| 出版 | 内容团队 | 跨语言按主题给文章分组 | 把讲同一件事的新闻聚到一起 |
| 研究 | 数据科学家 | 按分数跨语言比较句子 | 把一个句子和它的译文配成对 |
如果你需要自己写文字或回答问题的模型,可以跳过它,因为它只生成嵌入向量。
| 使用场景 | 适合谁 | 能得到什么 |
|---|---|---|
| 多语言搜索 | 搜索工程师 | 为任何受支持语言的查询给段落排序的分数 |
| 问题匹配 | 支持团队 | 与新问题最接近的已存问题或文章 |
| 主题分组 | 数据团队 | 可按含义聚类的向量 |
你需要装有 pip 的 Python,以及示例里导入的库。
pip install -U huggingface_hub hf download intfloat/multilingual-e5-base
每段文本都要以 "query: " 或 "passage: " 开头,即使它不是英文。对检索以外的任务,卡片说只用 "query: " 前缀就够了。然后做分词、运行模型、对词向量取平均并归一化。
import torch.nn.functional as F
from torch import Tensor
from transformers import AutoTokenizer, AutoModel
def average_pool(last_hidden_states: Tensor,
attention_mask: Tensor) -> Tensor:
last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]
tokenizer = AutoTokenizer.from_pretrained('intfloat/multilingual-e5-base')
model = AutoModel.from_pretrained('intfloat/multilingual-e5-base')
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')
outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T) * 100
print(scores.tolist())| 工具 | 作用 |
|---|---|
| AutoTokenizer | 把每段文本切成词元,最长截到 512 |
| AutoModel | 运行模型,为每个词元返回一个向量 |
| average_pool | 把词元向量平均成每段文本一个向量 |
| F.normalize | 缩放每个向量,让点积可以当作分数 |
你把 input_texts 设成两个查询和两段文字。一个查询问女性该吃多少蛋白质,另一个用中文问一道家常南瓜菜。两段文字是一则英文营养说明和一份中文食谱。脚本会打印一张分数表,每个查询和段落的组合各有一个分数。
嵌入模型会给每段文本在空间里一个位置,含义相近的文本会靠得很近。第一件可以试的小事,是用上面的示例处理你自己写的两个短句,每句都带上前缀。
这个模型以 xlm-roberta-base 为起点。第一个训练阶段是在弱配对的文本上做对比预训练,比如标题与页面内容、新闻、翻译对、维基百科章节、评论与回复、问题与答案。第二阶段加入监督微调。训练数据少的语言得分可能更低。
把约 100 种语言的文本变成向量,让你能跨语言比较含义,用于搜索和匹配。适合构建多语言检索的开发者。
由 intfloat 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:multilingual-e5-base 把一段文本变成一串数字,也就是嵌入向量,让你能跨语言按含义比较文本。它有 12 层,生成的向量大小为 768。Hugging Face 标注它有 278M 参数。
适合谁:它适合要在多种语言的文本上做搜索、匹配或分组的开发者和数据团队。
行业 | 谁在用 | 怎么用 | 例子
软件 | 搜索工程师 | 为文档和查询生成嵌入向量,再按分数给文档排序 | 找出能回答另一种语言所问问题的段落
客户支持 | 客服团队 | 把客户的问题匹配到最接近的帮助文章 | 把一个英文问题匹配到中文文章
出版 | 内容团队 | 跨语言按主题给文章分组 | 把讲同一件事的新闻聚到一起
研究 | 数据科学家 | 按分数跨语言比较句子 | 把一个句子和它的译文配成对
如果你需要自己写文字或回答问题的模型,可以跳过它,因为它只生成嵌入向量。
用在哪里:
使用场景 | 适合谁 | 能得到什么
多语言搜索 | 搜索工程师 | 为任何受支持语言的查询给段落排序的分数
问题匹配 | 支持团队 | 与新问题最接近的已存问题或文章
主题分组 | 数据团队 | 可按含义聚类的向量
如何设置:你需要装有 pip 的 Python,以及示例里导入的库。
pip install -U huggingface_hub
hf download intfloat/multilingual-e5-base
如何使用:每段文本都要以 "query: " 或 "passage: " 开头,即使它不是英文。对检索以外的任务,卡片说只用 "query: " 前缀就够了。然后做分词、运行模型、对词向量取平均并归一化。
import torch.nn.functional as F
from torch import Tensor
from transformers import AutoTokenizer, AutoModel
def average_pool(last_hidden_states: Tensor,
attention_mask: Tensor) -> Tensor:
last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]
tokenizer = AutoTokenizer.from_pretrained('intfloat/multilingual-e5-base')
model = AutoModel.from_pretrained('intfloat/multilingual-e5-base')
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')
outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T) * 100
print(scores.tolist())
工具 | 作用
AutoTokenizer | 把每段文本切成词元,最长截到 512
AutoModel | 运行模型,为每个词元返回一个向量
average_pool | 把词元向量平均成每段文本一个向量
F.normalize | 缩放每个向量,让点积可以当作分数
示例:你把 input_texts 设成两个查询和两段文字。一个查询问女性该吃多少蛋白质,另一个用中文问一道家常南瓜菜。两段文字是一则英文营养说明和一份中文食谱。脚本会打印一张分数表,每个查询和段落的组合各有一个分数。
新手与专家:嵌入模型会给每段文本在空间里一个位置,含义相近的文本会靠得很近。第一件可以试的小事,是用上面的示例处理你自己写的两个短句,每句都带上前缀。
这个模型以 xlm-roberta-base 为起点。第一个训练阶段是在弱配对的文本上做对比预训练,比如标题与页面内容、新闻、翻译对、维基百科章节、评论与回复、问题与答案。第二阶段加入监督微调。训练数据少的语言得分可能更低。
加上 query 或 passage 前缀
对文本分词,最多 512 个词元
运行模型
对词元向量取平均
归一化后用点积比较
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download intfloat/multilingual-e5-base
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| multilingual-e5-base 本页 | 4,750,367 | 422 | 278M | mit | |
| multilingual-e5-large共有 xlm-roberta · openvino · mteb | 7,120,555 | 1,284 | 560M | mit | |
| bge-small-en-v1.5共有 mteb · model-index · sentence-similarity | 45,750,548 | 671 | 33.4M | mit | |
| bge-base-en-v1.5共有 mteb · model-index · sentence-similarity | 8,508,165 | 542 | 109M | mit | |
| paraphrase-multilingual-MiniLM-L12-v2共有 openvino · sentence-similarity · text-embeddings-inference | 26,540,125 | 1,505 | 118M | apache-2.0 | |
| nomic-embed-text-v1.5共有 mteb · model-index · sentence-similarity | 11,809,681 | 994 | 137M | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
sentence-transformers · 工具包
把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。
aldegad · 技能
把一张角色底图做成可直接进游戏的精灵图,输出带清单的图集或透明动作循环,适合在 Codex 或 Claude Code 里做游戏的开发者。
yanliudesign · 技能
根据主题、物品或你的照片,做出原创的一色和两色编辑风格图像,用于海报、杂志、肖像和包装。返回图像、准确的提示词和一份简短配方。
foryourhealth111-pixel · 技能
从大量已安装的技能中挑出合适的,并把每个任务拆成可检查的步骤,交给你的编程智能体。在它自己的基准测试里,平均奖励提高了 21.12 个百分点,令牌用量下降了 29.6%。
elementalsouls · 技能
为 Claude Code 提供 83 个技能和 15 个斜杠命令,用于漏洞赏金和获得授权的红队工作,从网页漏洞类别到企业身份攻击,再到报告撰写。适合安全研究人员。
bsaleh03 · 工具包
把 Qwen3.8-27B 的词表裁剪到只剩 ASCII,让一块 16 GB 显卡就能装下长得多的提示词。这是供 llama.cpp 使用的 GGUF 版本,适合英文文本和代码。