cbx-indic-pii-extractor-58M

cbx-indic-pii-extractor-58M

在印度语言和印度英语文本中找出姓名、电话号码、Aadhaar 和 PAN 等个人信息，并返回每个值的位置。这是三种规格中最准确的一个，有 57.6M 参数。

由 CobuildX-AI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个来自 CobuildX-AI 的 58M 模型能在印度文本中定位个人信息，也就是 PII。它给每个值打上 27 种标签类型中的一种，比如 Aadhaar、PAN、UPI 和 IFSC，并返回确切的位置。它涵盖 12 种印度语言和印度英语，无论是用原生文字书写、罗马化，还是在语言之间混用。它是三种规格中最准确的一个，也是作者推荐的默认选择。

适合谁：如果你是开发者，要处理印度语言的消息和文档，需要用这个系列中最高的准确度找出或遮盖个人数据，它很适合你。

Industry | Who uses it | How they use it | Example
银行与支付 | 金融科技应用的开发者 | 遮盖消息中的 UPI ID、账号和银行卡号 | 含有 PAN 号码的消息返回时，该值被替换成了它的标签
客户支持 | 支持工具的构建者 | 在存储聊天记录之前去掉个人信息 | 姓名、电话号码和邮箱被替换成它们的标签
医疗健康 | 开发医院软件的团队 | 在自由文本笔记中找出患者标识 | 一个医院登记号被标记为患者 ID

如果你的文本不是印度语言或印度英语，可以跳过它。

用在哪里：

• Python 程序，通过 pii.py 里的 PIIExtractor 类使用
• 仅 CPU 的服务器和笔记本，有 GPU 时也能用 GPU
• Windows、macOS 或 Linux，装有 Python
• 模型卡介绍的可选 ONNX Runtime 路线

Use case | Who | What they get back
查找个人数据 | 数据工程师 | 一个值的列表，带标签、文本、起点和终点
遮盖消息 | 隐私团队 | 同样的文本，每个值被替换成它的标签
只保留选定的标签 | 合规开发者 | 只有你要求的标签类型，比如姓名和 Aadhaar

如何设置：你需要 Python，以及几分钟时间下载这个仓库。

• 装有 pip 的 Python
• 这个仓库里的文件，包括 pii.py 和 requirements.txt
• 内存要求不高，因为 F32 权重大约有 230 MB

1. 用 Python 安装 Hugging Face 工具。
2. 把仓库下载到本地文件夹。
3. 进入那个文件夹。
4. 从 requirements.txt 安装依赖包。

pip install -U huggingface_hub
hf download CobuildX-AI/cbx-indic-pii-extractor-58M --local-dir cbx-indic-pii-extractor-58M
cd cbx-indic-pii-extractor-58M
pip install -r requirements.txt

如何使用：从 pii.py 导入 PIIExtractor，它会把模型只加载一次。调用 extract 得到找到的值，或调用 redact 来替换它们。传入一个标签列表，就只保留其中一部分。

from pii import PIIExtractor

pii = PIIExtractor()                 # uses a GPU if one is available
pii.extract(text, labels=["PERSON", "AADHAAR"])   # keep only some labels

模型卡还提供了检查你环境的快速方法：

python example.py

Tool | What it does
PIIExtractor | 只加载一次模型，可以处理你给它的任何文本
extract | 返回每个值及其标签、文本、起点和终点
redact | 把每个找到的值换成它的标签，或换成你给的模板里的文字
example.py | 运行四段示例文本并打印找到的内容

示例：你传入一句印地语，里面有姓名、手机号和邮箱地址。extract 调用为每个值返回一条记录，带标签、文本、起点和终点。redact 调用返回同一句话，每个值被替换成它的标签，比如 PERSON 标签。

新手与专家：把它想成个人信息的荧光笔。你给它文本，它标出姓名、号码和 ID。第一个小尝试是设置完成后运行 example.py，看看它找到了什么。

它基于 mmBERT-small（一个多语言的 ModernBERT 编码器）微调，用的是合成的印度 PII 数据。词表从 256,000 个词元削减到 40,000 个。印度文字和乌尔都语的词元保留，所有字节和单个字符、训练数据需要的词元以及其余中最常见的词元也保留。较少见的词会被拆成更小的片段。请从这个仓库加载分词器，而不是 mmBERT 的那个。作者说裁剪不影响准确度，模型因此缩小到原来的 2.4 分之一。

读取任何受支持文字的文本
给每个片段打上 27 个标签之一
返回标签、文本和位置
可选：把每个片段替换成它的标签

注意事项：模型卡给出了这些速度，CPU 测试用了 8 个线程。

Title: 每次请求的耗时
短消息，CPU: 37 ms
2000 字符的文档，CPU: 250 ms
GPU: 13 ms

• Context: 8,192 个词元一次读完，更长的文本会自动拆分
• Masked values: 带掩码的 Aadhaar 号码或银行账号会连同掩码完整返回
• Left unlabelled: 不属于个人数据的编码，比如订单号、工单号、物流单号和公共热线
• Other sizes: 还有 36M 和 17M 版本，更大的内部教师模型得分更高，但没有发布
• Size: 57.6M 参数，F32 约 230 MB，4-bit 约 29 MB，这是估算值
• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你给它的文本和你下载的文件
• Not for: 给订单号、发票号或工单号打标签，它会放过这些

Hugging Face 上的数据（2026年11月13日）

• 任务：token classification
• 参数量：57.6M
• Weights: about 230 MB in F32; about 29 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：96
• 点赞：4
• 许可证：apache-2.0
• 语言：hi, bn, mr, ta, te, kn, ml, gu
• 基于：jhu-clsp/mmBERT-small
• 标签：onnx, safetensors, modernbert, privacy, redaction, indic, token-classification

链接

• 模型：https://huggingface.co/CobuildX-AI/cbx-indic-pii-extractor-58M
• 文件：https://huggingface.co/CobuildX-AI/cbx-indic-pii-extractor-58M/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download CobuildX-AI/cbx-indic-pii-extractor-58M

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。