MTEB-BR Leaderboard

MTEB-BR Leaderboard

在原生巴西葡萄牙语任务上给文本嵌入模型排名，22 个任务评测了 93 个模型。这是一个静态榜单页，适合挑选葡萄牙语搜索模型的研究者和工程师。

由 MTEB-BR 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个静态网页，用来给巴西葡萄牙语的文本嵌入模型排名。它收录了 93 个模型的结果，其中 73 个开放权重，20 个是闭源商业 API，在 7 个类别共 22 个任务上打分。它只接受用葡萄牙语写成或找到的数据，所以机器翻译的测试集不在其中。

适合谁：比较嵌入模型的研究者，以及要为葡萄牙语文本搜索选模型的工程师。

Industry | Who uses it | How they use it | Example
机器学习 | NLP 研究者 | 在原生葡萄牙语任务上比较嵌入模型 | 看哪个模型在总分上领先
软件 | 搜索和 RAG 工程师 | 为葡萄牙语文档挑选嵌入模型 | 在测试前先列出几个开放权重模型
领域搜索 | 有葡萄牙语文档的团队 | 查看与自己领域相符的任务，比如 MedPT 或 BRTaxQA | 阅读自己领域的检索结果
学术界 | 模型作者 | 通过项目的 issue 页面提议评测一个新模型 | 提交模型 ID 和评测文件

如果你只用英语，或者需要翻译测试集上的结果，可以跳过它。

用在哪里：

• 网页浏览器，在 Hugging Face 上这个 Space 的页面里
• 本地文件夹，下载文件后在浏览器里打开 index.html
• 项目的 GitHub issues，用来提议新模型

Use case | Who | What they get back
选择嵌入模型 | 机器学习工程师 | 93 个模型在葡萄牙语任务上的排名视图
查看某个模型的长处 | 研究者 | 在检索或聚类等任务类别上的分数
提议一个模型 | 模型作者 | 一条让模型被评测的途径

如何设置：

• 在线页面什么都不用装
• 一个网页浏览器
• 只有想用 Hugging Face 工具下载副本时，才需要 Python 和 pip

1. 想在线使用，就打开 Hugging Face 上这个 Space 的页面。
2. 想要副本，先安装 Hugging Face hub 包。
3. 把这个 Space 下载到名为 leaderboard 的文件夹。
4. 进入那个文件夹。
5. 在网页浏览器里打开 index.html。

pip install -U huggingface_hub
hf download MTEB-BR/leaderboard --repo-type space --local-dir leaderboard
cd leaderboard

这个页面是带样式表和图片资源的纯 HTML，所以不需要构建或启动任何东西。

如何使用：打开页面，读分数。总分是 mean_22，即 22 个任务的平均值。它附带用自助法得到的置信区间、模型之间的显著性检验，以及每个任务区分模型能力的程度。想添加模型，就在项目的 GitHub 仓库里开一个 issue，附上模型 ID、评测 JSON 文件和能复现这次运行的脚本。

示例：你正在为葡萄牙语文档做搜索，需要一个嵌入模型。你打开榜单，看总分 mean_22 和检索任务，列出几个开放权重模型，再用自己的数据去试。

新手与专家：嵌入模型把文字变成数字，让相似的文字靠得很近，搜索工具就靠这一点。如果你是新手，打开页面，先看总分，了解模型是怎么排序的。

如果你熟悉这个领域，设计上的选择是只用原生数据。mMARCO 和 mkqa 这类机器翻译的数据集从设计上就被排除。模型之间用自助法区间和配对显著性检验来比较，IRT 区分度则显示哪些任务能把模型分开。

模型在 22 个原生任务上运行
每个任务得到一个分数
mean_22 对 22 个分数求平均
区间和检验补充背景
榜单列出这些模型

注意事项：

• License: apache-2
• Cost to run: 没有提到费用
• Data it reaches: 它提到了 Hugging Face 上一个名为 MTEB-BR/mteb-pt-results 的结果数据集
• Not for: 翻译的或非葡萄牙语的基准，因为只接受原生巴西葡萄牙语数据

Title: Models evaluated by type
开放权重模型: 73 个模型
闭源商业 API: 20 个模型

Hugging Face 上的数据（2026年11月13日）

• 点赞：126
• 构建方式：static
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/MTEB-BR/leaderboard
• 文件：https://huggingface.co/spaces/MTEB-BR/leaderboard/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。