mmBERT-base

mmBERT-base

能读取并编码 1,800 多种语言的文本，用于分类、嵌入、检索和完形填空任务。适合要微调多语言编码器的开发者和研究者。

由 jhu-clsp 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：mmBERT-base 是一个多语言编码器，也就是读取文本并把它变成其他系统能用的表示的模型。它在 1,800 多种语言上用超过 3T 个词元训练。它建立在 ModernBERT 的设计上，卡片说它在分类、嵌入和检索上胜过较老的 XLM-R。

适合谁：它适合需要一个能理解多种语言（包括训练数据很少的语言）的模型、并且打算微调它的开发者和研究者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 机器学习工程师 | 为跨语言分类微调这个编码器 | 给多种语言的客服工单打标签
搜索 | 检索团队 | 为多语言文本构建嵌入和排序模型 | 把一种语言的查询匹配到另一种语言的文档
研究 | NLP 研究者 | 研究低资源语言如何在训练后期被学会 | 与 XLM-R 对比语言覆盖
出版 | 内容团队 | 对用多种语言写的文章分类和打标签 | 不分语言，按主题归类新闻

如果你需要能写文字或聊天的模型，可以跳过它，因为编码器不会生成长回复。

用在哪里：

• 用 Transformers 库的 Python
• 用于分类、嵌入和检索的微调脚本
• Windows、macOS 或 Linux，用 Python 下载文件

使用场景 | 适合谁 | 能得到什么
文本分类 | 机器学习工程师 | 微调后对多种语言文本给出的标签
嵌入 | 检索团队 | 能跨语言表达含义的向量
完形填空 | 研究者 | 对被遮住的词的预测

如何设置：你需要装有 pip 的 Python，以及 PyTorch 和 Transformers 包。

• Python 和 pip
• torch 和 transformers，版本不低于卡片给出的最低要求
• 放文件的磁盘空间，因为基础模型一共有 307M 参数

1. 用 pip 安装 PyTorch 和 Transformers。
2. 如果想自己下载文件，就安装 Hugging Face 客户端。
3. 在 Python 里按名字加载分词器和模型。

pip install torch>=1.9.0
pip install transformers>=4.21.0

pip install -U huggingface_hub
hf download jhu-clsp/mmBERT-base

如何使用：加载分词器和模型，把文本变成词元，再送进模型。输出里每个词元都有一个隐藏表示，你可以用它做特征或微调。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("jhu-clsp/mmBERT-base")
model = AutoModel.from_pretrained("jhu-clsp/mmBERT-base")

inputs = tokenizer("Hello world", return_tensors="pt")
outputs = model(**inputs)

工具 | 作用
AutoTokenizer | 把文本切成模型能理解的词元
AutoModel | 加载编码器并在这些词元上运行
tokenizer(..., return_tensors="pt") | 返回可直接给模型用的 PyTorch 张量

示例：你把 Hello world 这两个词送进分词器和模型。脚本会返回编码器对这些词元的输出。然后你可以在自己的代码里对它们做池化或分类。

新手与专家：编码器把文本变成能表达含义的数字，它不会写回复。第一件可以试的小事，是上面那段简短的脚本，它能处理任何被覆盖语言里的任何文本。

卡片描述了一套分阶段的训练办法。它从 60 种高资源语言开始，加入 110 种中等资源语言，然后在衰减阶段带入全部 1,833 种语言。遮蔽比例从 30% 降到 15% 再到 5%，采样的温度从 0.7 转到 0.3。在不同语言组合上训练的变体用 TIES 合并结合起来。它用了 Flash Attention 2 和去填充技术。

第一阶段：60 种语言，2.3T 词元
中期训练：110 种语言，600B 词元
衰减阶段：1,833 种语言，100B 词元
用 TIES 合并变体

注意事项：

• Model family: 卡片列出了一个 small 和一个 base 模型。

模型 | 总参数 | 非嵌入参数 | 语言
mmBERT-small | 140M | 42M | 1800+
mmBERT-base | 307M | 110M | 1800+

• Training data: 卡片说超过 3T 个词元的完整数据集是公开的，按阶段划分。
• Other versions: Hugging Face 列出了别人做的 294 个量化版本和 208 个微调版本。
• License: MIT，许可证一行就是这样写的。
• Cost to run: 没有提到 API 密钥、账号或付费服务。它在你自己的电脑上运行。
• Data it reaches: 你传入的文本，以及下载时用到的 Hugging Face。
• Not for: 它是用遮蔽语言建模目标训练的编码器，所以不是聊天或写文字的模型。

Hugging Face 上的数据（2026年11月14日）

• 任务：fill mask
• 框架：transformers
• 最近 30 天下载：353,305
• 点赞：283
• 许可证：mit
• 语言：aai, aak, aau, aaz, aba, abi, abk, abn
• Quantized versions: 296
• Fine-tunes: 209
• 标签：transformers, pytorch, modernbert, fill-mask

链接

• 模型：https://huggingface.co/jhu-clsp/mmBERT-base
• 文件：https://huggingface.co/jhu-clsp/mmBERT-base/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download jhu-clsp/mmBERT-base

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。