BERTimbau Base

BERTimbau Base

一个用巴西葡萄牙语预训练的 BERT 模型，能补全被遮住的词，也能生成文本嵌入。适合处理葡萄牙语文本的 NLP 开发者和研究人员。

由 neuralmind 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：BERTimbau Base 是一个为巴西葡萄牙语预训练的 BERT 模型，有 12 层、110M 参数。它能猜出被遮罩挡住的词，也能给葡萄牙语文本生成嵌入。作者报告说它在三项任务上取得了最先进的结果：命名实体识别、句子文本相似度和文本蕴含识别。另外还有一个 335M 参数的更大版本。

适合谁：如果你为葡萄牙语开发语言工具，想要一个预训练的基础模型来微调，或者从中读取嵌入，它适合你。

行业 | 谁在用 | 怎么用 | 例子
语言技术 | NLP 工程师 | 微调它来做实体识别或相似度 | 在葡萄牙语文档上训练一个标注器
搜索 | 开发者 | 把葡萄牙语句子转成向量 | 通过嵌入比较两个句子
研究 | 语言学家和机器学习研究人员 | 探查模型对被遮住的词预测什么 | 补全一个葡萄牙语句子里的空缺

如果你需要其他语言的文本，或需要能写长篇内容的模型，可以跳过它。

用在哪里：你在 Python 里通过 transformers 库运行它，系统可以是 Windows、macOS 或 Linux。模型卡链接了一个项目仓库，可以去那里提问题和请求。

• 使用 transformers 和 torch 的 Python 脚本和笔记本
• 装有 huggingface_hub 包的 Windows、macOS 或 Linux
• 为葡萄牙语任务微调它的训练脚本

使用场景 | 谁用 | 得到什么
遮罩词预测 | 研究人员 | 一份可以填入空缺的词的排序列表
文本嵌入 | 开发者 | 句子中每个词元的向量
微调基础 | NLP 工程师 | 分类器或标注器的葡萄牙语起点

如何设置：你需要装有 transformers 和 torch 库的 Python。模型卡的示例会在你第一次加载时按名称下载模型。

• Windows、macOS 或 Linux 上的 Python
• transformers 和 torch 库
• Hugging Face hub 包，如果你想把文件放在磁盘上

1. 安装 transformers 和 torch 库。
2. 可选：下载模型文件。
3. 运行模型卡的加载代码。

pip install -U huggingface_hub
hf download neuralmind/bert-base-portuguese-cased

如何使用：加载模型和分词器，然后运行 fill-mask 流水线，或者让基础模型输出嵌入。分词器被设为不转小写，因为这个模型区分大小写。

from transformers import AutoTokenizer  # Or BertTokenizer
from transformers import AutoModelForPreTraining  # Or BertForPreTraining for loading pretraining heads
from transformers import AutoModel  # or BertModel, for BERT without pretraining heads

model = AutoModelForPreTraining.from_pretrained('neuralmind/bert-base-portuguese-cased')
tokenizer = AutoTokenizer.from_pretrained('neuralmind/bert-base-portuguese-cased', do_lower_case=False)

from transformers import pipeline

pipe = pipeline('fill-mask', model=model, tokenizer=tokenizer)

pipe('Tinha uma [MASK] no meio do caminho.')

import torch

model = AutoModel.from_pretrained('neuralmind/bert-base-portuguese-cased')
input_ids = tokenizer.encode('Tinha uma pedra no meio do caminho.', return_tensors='pt')

with torch.no_grad():
    outs = model(input_ids)
    encoded = outs[0][0, 1:-1]  # Ignore [CLS] and [SEP] special tokens

# encoded.shape: (8, 768)

Tool | What it does
AutoModelForPreTraining | 加载带预训练头的模型
AutoTokenizer | 加载区分大小写的分词器
pipeline fill-mask | 预测遮罩词元背后的词
AutoModel | 加载基础模型，用来读取嵌入

示例：你把葡萄牙语句子“Tinha uma [MASK] no meio do caminho.”交给 fill-mask 流水线。它会返回空缺处候选词的排序列表，模型卡的运行结果里 pedra 排第一，然后是 arvore、estrada、casa 和 cruz。

新手与专家：如果你刚接触，fill-mask 的意思是模型猜测占位符下面藏着的词。第一件小事是运行 fill-mask 代码，然后换掉句子。

如果你熟悉这个领域，这是在葡萄牙语上预训练的 BERT-Base 架构，嵌入示例会为它那个句子的 8 个词元各返回一个 768 维的向量。它是一个预训练检查点，所以你要加上自己的头，并为下游任务微调它。

带遮罩的葡萄牙语句子
区分大小写的分词器生成输入 id
BERT-Base 读取整个句子
输出候选词或嵌入

注意事项：Hugging Face 列出了许多基于它构建的模型，有 253 个微调版本和 14 个量化版本。如果你使用这项工作，模型卡还给出了引用条目。

Title: 不同 BERTimbau 规模的参数量，单位百万
BERTimbau Base: 110 百万
BERTimbau Large: 335 百万

• License: MIT
• Cost to run: 没有提到任何 API 密钥或付费服务
• Data it reaches: 下载来自 Hugging Face，模型处理你给它的文本
• Not for: 葡萄牙语以外的语言，或写长篇内容

Hugging Face 上的数据（2026年11月13日）

• 任务：fill mask
• 框架：transformers
• 最近 30 天下载：367,424
• 点赞：248
• 许可证：mit
• 语言：pt
• Quantized versions: 14
• Fine-tunes: 256
• 标签：transformers, pytorch, bert, fill-mask

链接

• 模型：https://huggingface.co/neuralmind/bert-base-portuguese-cased
• 文件：https://huggingface.co/neuralmind/bert-base-portuguese-cased/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download neuralmind/bert-base-portuguese-cased

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。