cbx-indic-pii-extractor-17M

cbx-indic-pii-extractor-17M

在印度语言和印度英语文本中找出姓名、电话号码、Aadhaar 和 PAN 等个人信息，并返回每个值的位置。这是一个 16.7M 参数、能在 CPU 上运行的模型。

由 CobuildX-AI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个来自 CobuildX-AI 的小模型能在印度文本中定位个人信息，也就是 PII。它给每个值打上 27 种标签类型中的一种，比如 Aadhaar、PAN、UPI 和 IFSC，并返回确切的位置。它涵盖 12 种印度语言和印度英语，无论是用原生文字书写、罗马化，还是在语言之间混用。这是三种规格中最小也最快的一个。

适合谁：如果你是开发者，要处理印度语言的消息和文档，需要在内存很少或只有 CPU 的机器上找出或遮盖个人数据，它很适合你。

Industry | Who uses it | How they use it | Example
银行与支付 | 金融科技应用的开发者 | 遮盖消息中的 UPI ID、账号和银行卡号 | 含有 PAN 号码的消息返回时，该值被替换成了它的标签
客户支持 | 支持工具的构建者 | 在存储聊天记录之前去掉个人信息 | 姓名、电话号码和邮箱被替换成它们的标签
医疗健康 | 开发医院软件的团队 | 在自由文本笔记中找出患者标识 | 一个医院登记号被标记为患者 ID

如果你的文本不是印度语言或印度英语，可以跳过它。

用在哪里：

• Python 程序，通过 pii.py 里的 PIIExtractor 类使用
• 仅 CPU 的服务器和笔记本，有 GPU 时也能用 GPU
• Windows、macOS 或 Linux，装有 Python
• 模型卡介绍的可选 ONNX Runtime 路线

Use case | Who | What they get back
查找个人数据 | 数据工程师 | 一个值的列表，带标签、文本、起点和终点
遮盖消息 | 隐私团队 | 同样的文本，每个值被替换成它的标签
只保留选定的标签 | 合规开发者 | 只有你要求的标签类型，比如姓名和 Aadhaar

如何设置：你需要 Python，以及几分钟时间下载这个仓库。

• 装有 pip 的 Python
• 这个仓库里的文件，包括 pii.py 和 requirements.txt
• 只需很少的内存，因为 F32 权重大约只有 67 MB

1. 用 Python 安装 Hugging Face 工具。
2. 把仓库下载到本地文件夹。
3. 进入那个文件夹。
4. 从 requirements.txt 安装依赖包。

pip install -U huggingface_hub
hf download CobuildX-AI/cbx-indic-pii-extractor-17M --local-dir cbx-indic-pii-extractor-17M
cd cbx-indic-pii-extractor-17M
pip install -r requirements.txt

如何使用：从 pii.py 导入 PIIExtractor，它会把模型只加载一次。调用 extract 得到找到的值，或调用 redact 来替换它们。传入一个标签列表，就只保留其中一部分。

from pii import PIIExtractor

pii = PIIExtractor()                 # uses a GPU if one is available
pii.extract(text, labels=["PERSON", "AADHAAR"])   # keep only some labels

模型卡还提供了检查你环境的快速方法：

python example.py

Tool | What it does
PIIExtractor | 只加载一次模型，可以处理你给它的任何文本
extract | 返回每个值及其标签、文本、起点和终点
redact | 把每个找到的值换成它的标签，或换成你给的模板里的文字
example.py | 运行四段示例文本并打印找到的内容

示例：你传入一句印地语，里面有姓名、手机号和邮箱地址。extract 调用为每个值返回一条记录，带标签、文本、起点和终点。redact 调用返回同一句话，每个值被替换成它的标签，比如 PERSON 标签。

新手与专家：把它想成个人信息的荧光笔。你给它文本，它标出姓名、号码和 ID。第一个小尝试是设置完成后运行 example.py，看看它找到了什么。

它是 58M 模型的缩小版，保留了 22 层中的 6 层和 40,000 个词元的词表。词表经过压缩，每个词元用 128 个数字表示，再由一个共享矩阵扩展到 384。所以需要 pii.py，因为普通的 AutoModel 加载读不了它。它通过蒸馏重新训练，在原始标签之外，还有一个更大的内部教师模型来指导它。这个教师模型没有发布。

读取任何受支持文字的文本
给每个片段打上 27 个标签之一
返回标签、文本和位置
可选：把每个片段替换成它的标签

注意事项：模型卡给出了这些速度，CPU 测试用了 8 个线程。

Title: 每次请求的耗时
短消息，CPU: 11 ms
2000 字符的文档，CPU: 72 ms
GPU: 5 ms

• Context: 8,192 个词元一次读完，更长的文本会自动拆分
• Masked values: 带掩码的 Aadhaar 号码或银行账号会连同掩码完整返回
• Left unlabelled: 不属于个人数据的编码，比如订单号、工单号、物流单号和公共热线
• Other sizes: 还有 58M 和 36M 版本，更大的内部教师模型得分更高，但没有发布
• Size: 16.7M 参数，F32 约 67 MB，4-bit 约 8 MB，这是估算值
• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你给它的文本和你下载的文件
• Not for: 给订单号、发票号或工单号打标签，它会放过这些

Hugging Face 上的数据（2026年11月13日）

• 任务：token classification
• 参数量：16.7M
• Weights: about 67 MB in F32; about 8 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：76
• 点赞：3
• 许可证：apache-2.0
• 语言：hi, bn, mr, ta, te, kn, ml, gu
• 基于：jhu-clsp/mmBERT-small
• 标签：onnx, safetensors, modernbert, privacy, redaction, indic, token-classification

链接

• 模型：https://huggingface.co/CobuildX-AI/cbx-indic-pii-extractor-17M
• 文件：https://huggingface.co/CobuildX-AI/cbx-indic-pii-extractor-17M/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download CobuildX-AI/cbx-indic-pii-extractor-17M

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。