ModernBERT-base

ModernBERT-base

预测英文文本或代码中被隐藏的词，微调之后可作为长上下文编码器，用于搜索、分类和检索。适合需要快速 BERT 风格编码器的开发者和研究者。

由 answerdotai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：ModernBERT-base 是更新过的 BERT 风格编码器，有 22 层、1.49 亿参数。它在 2 万亿个英文文本和代码 token 上预训练，原生支持最长 8,192 个 token 的输入。它开箱即可预测被遮住的词，你还可以把它微调用于分类、检索或问答等任务。

适合谁：它适合构建搜索、分类或检索系统、想要一个能读长文档和代码的快速编码器的开发者和研究者。

Industry | Who uses it | How they use it | Example
搜索 | 检索工程师 | 为语义搜索嵌入长文档 | 为大量文章建立索引
软件 | 开发者 | 搜索代码以及文本加代码的混合内容 | 按含义查找代码片段
数据科学 | 机器学习工程师 | 在长文本上微调分类器 | 按主题给客服工单打标签
研究 | NLP 研究者 | 在标准基准上比较编码器模型 | 测试 GLUE 和 BEIR 分数

如果你需要能写作或聊天的模型，可以跳过它，因为它只负责编码文本。

用在哪里：它通过 transformers 库在 Python 里运行，CPU 或 GPU 都行。

• 使用 4.48.0 或更新版本 transformers 的 Python 脚本
• 支持 Flash Attention 2 的 GPU，速度最好
• Windows、macOS 或 Linux

Use case | Who | What they get back
填空预测 | 开发者 | 被隐藏位置上最可能的词
检索和语义搜索 | 搜索团队 | 微调之后得到长文档的向量
分类 | 机器学习团队 | 一个用于打标签的微调编码器

如何设置：你需要 Python，以及 4.48.0 或更新版本的 transformers。如果你的 GPU 支持，模型卡建议再加上 Flash Attention 2。

1. 安装 Hugging Face 的 hub 工具并下载文件，或者让 transformers 自动获取。
2. 安装或升级 transformers。
3. 可选：为提速安装 Flash Attention。

pip install -U huggingface_hub
hf download answerdotai/ModernBERT-base

pip install -U transformers>=4.48.0

pip install flash-attn

如何使用：使用 fill-mask 流水线，或者用 AutoModelForMaskedLM 加载模型。这是模型类的用法。

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_id = "answerdotai/ModernBERT-base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id)

text = "The capital of France is [MASK]."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)

流水线的用法更短。

import torch
from transformers import pipeline
from pprint import pprint

pipe = pipeline(
    "fill-mask",
    model="answerdotai/ModernBERT-base",
    torch_dtype=torch.bfloat16,
)

input_text = "He walked to the [MASK]."
results = pipe(input_text)
pprint(results)

Tool | What it does
fill-mask pipeline | 预测被遮罩藏起来的词
AutoModelForMaskedLM | 加载模型用于遮罩词预测
flash-attn | 可选的包，在支持的 GPU 上加快注意力计算
hf download | 把模型文件下载到你的电脑

示例：你输入句子 "The capital of France is [MASK]."。模型为被遮住的位置给候选词打分，模型卡的示例把 Paris 作为预测的词打印出来。

新手与专家：填空的意思是模型根据周围的词猜出被隐藏的词。可以用你自己的句子试试流水线的例子，并保留其中的遮罩标记。

这个模型用旋转位置编码来处理长输入，用局部层和全局层交替的注意力，并用去填充加 Flash Attention 来加快推理。它不使用 token 类型 ID，所以可以省掉这个参数。下游任务按标准的 BERT 微调方法来做。

对带遮罩标记的文本分词
编码器读取整个句子
为每个词输出分数
取最高分的词，或继续微调

注意事项：模型卡在语言理解、通用检索、长上下文检索和代码检索上评估了这个模型。

• GLUE: 按模型卡所说，基础尺寸的得分高于其他同等大小的编码器。
• Context: 它一次最多读取 8,192 个 token。
• Sizes: 还有一个大号版本，有 28 层、3.95 亿参数。
• License: Apache 2.0。
• Cost to run: 未提及。
• Data it reaches: 你给它的文本，在你自己的机器上处理。
• Not for: 文本生成或聊天，因为它是纯编码器模型。

Hugging Face 上的数据（2026年11月13日）

• 任务：fill mask
• 框架：transformers
• 参数量：150M
• Weights: about 599 MB in F32; about 75 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：2,939,636
• 点赞：1,155
• 许可证：apache-2.0
• 语言：en
• Quantized versions: 88
• Fine-tunes: 1,600
• 标签：transformers, pytorch, onnx, safetensors, modernbert, fill-mask, masked-lm, long-context

链接

• 模型：https://huggingface.co/answerdotai/ModernBERT-base
• 文件：https://huggingface.co/answerdotai/ModernBERT-base/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download answerdotai/ModernBERT-base

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。