DistilBERT base uncased

DistilBERT base uncased

从 BERT base 蒸馏出来的小而快的英文语言模型，有 67M 参数。能填补被遮住的词，主要用来针对分类、标注和问答进行微调。

由 distilbert 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：DistilBERT base uncased 是一个紧凑的英文语言模型，由 BERT base 模型蒸馏而来。它有 67M 参数，F32 权重约 268 MB。它不区分大小写，所以把 English 和 english 当作同一个词。它学到了与老师模型相同的英语内部表示，同时运行得更快。它主要用来针对你自己的任务进行微调。

适合谁：如果你是开发者或学生，需要一个小而快的文本模型，用来针对分类、标注或问答进行微调，它很适合你。

Industry | Who uses it | How they use it | Example
客户支持 | NLP 开发者 | 微调后给消息打标签 | 微调之后，一张工单被归到某个主题
搜索与问答 | 搜索工程师 | 针对问答进行微调 | 模型卡把问答列为预期任务之一
教育 | 机器学习的学生和老师 | 学习掩码语言模型如何工作 | 填空演示会猜出缺失的词

如果你需要文本生成，可以跳过它，因为模型卡为此推荐 GPT2 之类的模型。

用在哪里：

• Python，通过 Transformers 库
• PyTorch 或 TensorFlow，因为模型卡两种都展示了
• Windows、macOS 或 Linux，CPU 或 GPU 均可
• 针对需要读完整个句子的任务的微调工作

Use case | Who | What they get back
填补被遮住的词 | 初学者 | 对隐藏词的排序猜测
句子或词元分类 | 开发者 | 一个可以微调的小型基础模型
问答 | 搜索团队 | 用于该任务的快速基础模型

如何设置：你需要 Python，以及带 PyTorch 或 TensorFlow 的 Transformers 库。

• Python
• transformers 包，以及 PyTorch 或 TensorFlow
• 大约 268 MB 的磁盘空间，用于 F32 权重

1. 安装 transformers 包和一个深度学习库。
2. 可选：先用下面的第二条命令，通过 Hugging Face 工具下载模型文件。
3. 在代码里按名称加载模型。
4. 运行一个带遮罩的句子，或者对文本编码来获取特征。

pip install -U huggingface_hub
hf download distilbert/distilbert-base-uncased

如何使用：最快的尝试是 fill-mask 流水线。在缺词的位置放上 [MASK]，模型就会对猜测排序。

from transformers import pipeline
unmasker = pipeline('fill-mask', model='distilbert-base-uncased')
unmasker("Hello I'm a [MASK] model.")

在 PyTorch 里获取文本的特征：

from transformers import DistilBertTokenizer, DistilBertModel
tokenizer = DistilBertTokenizer.from_pretrained('distilbert-base-uncased')
model = DistilBertModel.from_pretrained("distilbert-base-uncased")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

Tool | What it does
pipeline | 一次调用就运行填空
DistilBertTokenizer | 把文本变成模型能读的词元
DistilBertModel | 在 PyTorch 里返回文本的特征
TFDistilBertModel | 在 TensorFlow 里返回文本的特征

示例：你写下 Hello I'm a [MASK] model 这个句子并运行流水线。模型卡显示最靠前的猜测是 role、fashion、business、model 和 modeling，每个都带有一个分数。

新手与专家：把它想成一个模仿大老师 BERT 的小学生，保留了老师大部分的语言感觉。第一个小尝试是上面的填空流水线。

训练结合了三个目标。它要匹配老师的概率，要预测被遮住的词（输入词中有 15% 被隐藏），还要匹配老师的隐藏状态。因为它在两个方向上读完整个句子，所以适合判断整句的任务，而不是文本生成。

遮住句子里的一些词
学生预测被遮住的词
它被推动去匹配老师 BERT
你用自己的标签微调它
把它用在你的任务上

注意事项：模型卡列出了这些数字。

Title: DistilBERT base uncased 一览
Property | Value
参数 | 67M
F32 权重 | 约 268 MB
4-bit 权重，估算 | 约 33 MB
训练中被遮住的词的比例 | 15%

• Bias: 模型卡警告说预测可能有偏见，并且从老师模型继承了一些偏见
• Language: 英文
• Other versions: 其他人已经发布了 108 个量化版本和 12,853 个微调版本
• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你下载的文件和你在本地处理的文本
• Not for: 文本生成，或者任何有偏见的猜测会造成伤害的任务

Hugging Face 上的数据（2026年11月13日）

• 任务：fill mask
• 框架：transformers
• 参数量：67M
• Weights: about 268 MB in F32; about 33 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：5,452,853
• 点赞：1,148
• 许可证：apache-2.0
• 语言：en
• Quantized versions: 108
• Fine-tunes: 12,864
• 标签：transformers, pytorch, rust, safetensors, distilbert, fill-mask, exbert

链接

• 模型：https://huggingface.co/distilbert/distilbert-base-uncased
• 文件：https://huggingface.co/distilbert/distilbert-base-uncased/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download distilbert/distilbert-base-uncased

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。