Mindket

multilingual-e5-base

新上架第 1 版 · 更新于

概览

把约 100 种语言的文本变成向量,让你能跨语言比较含义,用于搜索和匹配。适合构建多语言检索的开发者。

multilingual-e5-base 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。

速览

你需要
  • Python 和 pip
  • 示例里导入的 torch 和 transformers
  • F32 权重约需 1.1 GB 磁盘
用在
  • 使用 Transformers 库的 Python,就像卡片里的示例
  • sentence-transformers 库,Hugging Face 把它列为这个模型的库
  • 能运行 Python 的 Windows、macOS 或 Linux
  • 你自己的搜索或检索代码
先运行
pip install -U huggingface_hub
hf download intfloat/multilingual-e5-base

平台

Windows操作系统
macOS操作系统
Linux操作系统

关于

它是什么

multilingual-e5-base 把一段文本变成一串数字,也就是嵌入向量,让你能跨语言按含义比较文本。它有 12 层,生成的向量大小为 768。Hugging Face 标注它有 278M 参数。

适合谁

它适合要在多种语言的文本上做搜索、匹配或分组的开发者和数据团队。

行业谁在用怎么用例子
软件搜索工程师为文档和查询生成嵌入向量,再按分数给文档排序找出能回答另一种语言所问问题的段落
客户支持客服团队把客户的问题匹配到最接近的帮助文章把一个英文问题匹配到中文文章
出版内容团队跨语言按主题给文章分组把讲同一件事的新闻聚到一起
研究数据科学家按分数跨语言比较句子把一个句子和它的译文配成对

如果你需要自己写文字或回答问题的模型,可以跳过它,因为它只生成嵌入向量。

用在哪里

  • 使用 Transformers 库的 Python,就像卡片里的示例
  • sentence-transformers 库,Hugging Face 把它列为这个模型的库
  • 能运行 Python 的 Windows、macOS 或 Linux
  • 你自己的搜索或检索代码
使用场景适合谁能得到什么
多语言搜索搜索工程师为任何受支持语言的查询给段落排序的分数
问题匹配支持团队与新问题最接近的已存问题或文章
主题分组数据团队可按含义聚类的向量

如何设置

你需要装有 pip 的 Python,以及示例里导入的库。

  • Python 和 pip
  • 示例里导入的 torch 和 transformers
  • F32 权重约需 1.1 GB 磁盘
  1. 用 pip 安装 Hugging Face 客户端。
  2. 用 hf 命令下载这个仓库。
  3. 如果还没有 torch 和 transformers,就先装上。
  4. 用你自己的文本运行卡片里的 Python 示例。
pip install -U huggingface_hub
hf download intfloat/multilingual-e5-base

如何使用

每段文本都要以 "query: " 或 "passage: " 开头,即使它不是英文。对检索以外的任务,卡片说只用 "query: " 前缀就够了。然后做分词、运行模型、对词向量取平均并归一化。

import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel

def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]

tokenizer = AutoTokenizer.from_pretrained('intfloat/multilingual-e5-base')
model = AutoModel.from_pretrained('intfloat/multilingual-e5-base')

batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T) * 100
print(scores.tolist())
工具作用
AutoTokenizer把每段文本切成词元,最长截到 512
AutoModel运行模型,为每个词元返回一个向量
average_pool把词元向量平均成每段文本一个向量
F.normalize缩放每个向量,让点积可以当作分数

示例

你把 input_texts 设成两个查询和两段文字。一个查询问女性该吃多少蛋白质,另一个用中文问一道家常南瓜菜。两段文字是一则英文营养说明和一份中文食谱。脚本会打印一张分数表,每个查询和段落的组合各有一个分数。

新手与专家

嵌入模型会给每段文本在空间里一个位置,含义相近的文本会靠得很近。第一件可以试的小事,是用上面的示例处理你自己写的两个短句,每句都带上前缀。

这个模型以 xlm-roberta-base 为起点。第一个训练阶段是在弱配对的文本上做对比预训练,比如标题与页面内容、新闻、翻译对、维基百科章节、评论与回复、问题与答案。第二阶段加入监督微调。训练数据少的语言得分可能更低。

  1. 加上 query 或 passage 前缀
  2. 对文本分词,最多 512 个词元
  3. 运行模型
  4. 对词元向量取平均
  5. 归一化后用点积比较

注意事项

  • Prefix: 开头没有 "query: " 或 "passage: " 的文本和卡片示例的做法不一样,所以要加上一个。
  • Coverage: 它支持从基础模型继承来的 100 种语言。
  • Other versions: Hugging Face 列出了别人做的 280 个量化版本和 189 个微调版本。
  • License: MIT,许可证一行就是这样写的。
  • Cost to run: 没有提到 API 密钥、账号或付费服务。它在你自己的电脑上运行。
  • Data it reaches: 你喂给它的文本,以及下载模型时用到的 Hugging Face。
  • Not for: 它不生成文字。卡片提醒,低资源语言的效果可能更弱。

README 和文件

README

multilingual-e5-base

把约 100 种语言的文本变成向量,让你能跨语言比较含义,用于搜索和匹配。适合构建多语言检索的开发者。

由 intfloat 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么:multilingual-e5-base 把一段文本变成一串数字,也就是嵌入向量,让你能跨语言按含义比较文本。它有 12 层,生成的向量大小为 768。Hugging Face 标注它有 278M 参数。

适合谁:它适合要在多种语言的文本上做搜索、匹配或分组的开发者和数据团队。

行业 | 谁在用 | 怎么用 | 例子
软件 | 搜索工程师 | 为文档和查询生成嵌入向量,再按分数给文档排序 | 找出能回答另一种语言所问问题的段落
客户支持 | 客服团队 | 把客户的问题匹配到最接近的帮助文章 | 把一个英文问题匹配到中文文章
出版 | 内容团队 | 跨语言按主题给文章分组 | 把讲同一件事的新闻聚到一起
研究 | 数据科学家 | 按分数跨语言比较句子 | 把一个句子和它的译文配成对

如果你需要自己写文字或回答问题的模型,可以跳过它,因为它只生成嵌入向量。

用在哪里:

  • 使用 Transformers 库的 Python,就像卡片里的示例
  • sentence-transformers 库,Hugging Face 把它列为这个模型的库
  • 能运行 Python 的 Windows、macOS 或 Linux
  • 你自己的搜索或检索代码
使用场景 | 适合谁 | 能得到什么
多语言搜索 | 搜索工程师 | 为任何受支持语言的查询给段落排序的分数
问题匹配 | 支持团队 | 与新问题最接近的已存问题或文章
主题分组 | 数据团队 | 可按含义聚类的向量

如何设置:你需要装有 pip 的 Python,以及示例里导入的库。

  • Python 和 pip
  • 示例里导入的 torch 和 transformers
  • F32 权重约需 1.1 GB 磁盘
  1. 用 pip 安装 Hugging Face 客户端。
  2. 用 hf 命令下载这个仓库。
  3. 如果还没有 torch 和 transformers,就先装上。
  4. 用你自己的文本运行卡片里的 Python 示例。
pip install -U huggingface_hub
hf download intfloat/multilingual-e5-base

如何使用:每段文本都要以 "query: " 或 "passage: " 开头,即使它不是英文。对检索以外的任务,卡片说只用 "query: " 前缀就够了。然后做分词、运行模型、对词向量取平均并归一化。

import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel

def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]

tokenizer = AutoTokenizer.from_pretrained('intfloat/multilingual-e5-base')
model = AutoModel.from_pretrained('intfloat/multilingual-e5-base')

batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T) * 100
print(scores.tolist())
工具 | 作用
AutoTokenizer | 把每段文本切成词元,最长截到 512
AutoModel | 运行模型,为每个词元返回一个向量
average_pool | 把词元向量平均成每段文本一个向量
F.normalize | 缩放每个向量,让点积可以当作分数

示例:你把 input_texts 设成两个查询和两段文字。一个查询问女性该吃多少蛋白质,另一个用中文问一道家常南瓜菜。两段文字是一则英文营养说明和一份中文食谱。脚本会打印一张分数表,每个查询和段落的组合各有一个分数。

新手与专家:嵌入模型会给每段文本在空间里一个位置,含义相近的文本会靠得很近。第一件可以试的小事,是用上面的示例处理你自己写的两个短句,每句都带上前缀。

这个模型以 xlm-roberta-base 为起点。第一个训练阶段是在弱配对的文本上做对比预训练,比如标题与页面内容、新闻、翻译对、维基百科章节、评论与回复、问题与答案。第二阶段加入监督微调。训练数据少的语言得分可能更低。

加上 query 或 passage 前缀
对文本分词,最多 512 个词元
运行模型
对词元向量取平均
归一化后用点积比较

注意事项:

  • Prefix: 开头没有 "query: " 或 "passage: " 的文本和卡片示例的做法不一样,所以要加上一个。
  • Coverage: 它支持从基础模型继承来的 100 种语言。
  • Other versions: Hugging Face 列出了别人做的 280 个量化版本和 189 个微调版本。
  • License: MIT,许可证一行就是这样写的。
  • Cost to run: 没有提到 API 密钥、账号或付费服务。它在你自己的电脑上运行。
  • Data it reaches: 你喂给它的文本,以及下载模型时用到的 Hugging Face。
  • Not for: 它不生成文字。卡片提醒,低资源语言的效果可能更弱。

Hugging Face 上的数据(2026年11月16日)

  • 任务:sentence similarity
  • 框架:sentence-transformers
  • 参数量:278M
  • Weights: about 1.1 GB in F32; about 139 MB at 4-bit (estimate)
  • Formats: Safetensors
  • 最近 30 天下载:4,750,367
  • 点赞:422
  • 许可证:mit
  • 语言:af, am, ar, as, az, be, bg, bn
  • Quantized versions: 281
  • Fine-tunes: 192
  • 标签:sentence-transformers, pytorch, onnx, safetensors, openvino, xlm-roberta, mteb, sentence-similarity, multilingual, model-index, text-embeddings-inference

链接

  • 模型:https://huggingface.co/intfloat/multilingual-e5-base
  • 文件:https://huggingface.co/intfloat/multilingual-e5-base/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件:

pip install -U huggingface_hub
hf download intfloat/multilingual-e5-base

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。

文件
README.md  6 KB

1 个文件,共 6 KB,以 zip 压缩包下载。

更新内容

  • 第 1 版 · 2026-11-16

同类产品对比

同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。

产品最近 30 天下载点赞参数量许可证最近更新
multilingual-e5-base 本页4,750,367422278Mmit
multilingual-e5-large共有 xlm-roberta · openvino · mteb7,120,5551,284560Mmit
bge-small-en-v1.5共有 mteb · model-index · sentence-similarity45,750,54867133.4Mmit
bge-base-en-v1.5共有 mteb · model-index · sentence-similarity8,508,165542109Mmit
paraphrase-multilingual-MiniLM-L12-v2共有 openvino · sentence-similarity · text-embeddings-inference26,540,1251,505118Mapache-2.0
nomic-embed-text-v1.5共有 mteb · model-index · sentence-similarity11,809,681994137Mapache-2.0
数据为 Mindket 在 2026-11-13 至 2026-11-16 期间读取的数值。

评价

还没有评分

写评价

还没有评价。

大家怎么说

Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。

搜索日期

Mindket 的更多商品

查看 Mindket 的全部商品

all-mpnet-base-v2

sentence-transformers · 工具包

把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。

新上架

sprite-gen

aldegad · 技能

把一张角色底图做成可直接进游戏的精灵图,输出带清单的图集或透明动作循环,适合在 Codex 或 Claude Code 里做游戏的开发者。

新上架4097

Monocolor Editorial Print

yanliudesign · 技能

根据主题、物品或你的照片,做出原创的一色和两色编辑风格图像,用于海报、杂志、肖像和包装。返回图像、准确的提示词和一份简短配方。

新上架3662

开发类的相似商品

查看开发类的全部商品

VibeSkills

foryourhealth111-pixel · 技能

从大量已安装的技能中挑出合适的,并把每个任务拆成可检查的步骤,交给你的编程智能体。在它自己的基准测试里,平均奖励提高了 21.12 个百分点,令牌用量下降了 29.6%。

新上架3821

claude-bughunter

elementalsouls · 技能

为 Claude Code 提供 83 个技能和 15 个斜杠命令,用于漏洞赏金和获得授权的红队工作,从网页漏洞类别到企业身份攻击,再到报告撰写。适合安全研究人员。

新上架6853

Qwen3.8-27B-ASCII-Condensed

bsaleh03 · 工具包

把 Qwen3.8-27B 的词表裁剪到只剩 ASCII,让一块 16 GB 显卡就能装下长得多的提示词。这是供 llama.cpp 使用的 GGUF 版本,适合英文文本和代码。

新上架