OpenAI Privacy Filter

OpenAI Privacy Filter

一次扫描就找出并遮盖文本里的姓名、邮箱等个人信息，可在你自己的机器上运行。适合需要在本地处理大量文本的团队。

由 openai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：OpenAI Privacy Filter 是一个在文本中找出个人身份信息并加以标记、以便遮盖的模型。它一次读完整段输入，给每个 token 打标签，再从标签解码出干净的片段。

它面向数据清理任务，适合想在自己硬件上运行模型、并且需要调节设置的团队。

适合谁：它适合开发者和数据团队，他们必须在存储、共享或训练前，从文本里去掉姓名、邮箱等信息。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在文本流程中加一个遮盖步骤 | 共享日志前隐藏姓名
数据团队 | 数据工程师 | 训练前清理大型文本集 | 从语料里去掉邮箱
客服 | 运营团队 | 遮盖工单里的个人信息 | 遮盖客户消息里的姓名
研究 | 机器学习工程师 | 用自己的数据微调过滤器 | 让它适应新的文本风格

如果你的文本从不含个人信息，或者你需要的是图像或音频的过滤器，可以跳过它。

用在哪里：这个模型可以在 Python 里配合 transformers 库使用，也可以在 JavaScript 里配合 transformers.js 使用，模型卡展示了它用 WebGPU 运行。

• Windows、macOS 或 Linux 上的 Python 和 transformers
• 通过 transformers.js 用在浏览器或 Node 应用里
• 本地部署的服务器，因为由你自己运行
• 笔记本电脑，因为它体积小

用途 | 谁 | 得到什么
个人信息检测 | 开发者 | 带标签的片段，比如 private_person 和 private_email
文本遮盖 | 数据团队 | 个人信息被标出以便移除的文本
本地清理 | 安全团队 | 不离开你服务器的已清理数据

如何设置：你需要带 transformers 库和 PyTorch 的 Python，或者带 transformers.js 的 JavaScript 项目。BF16 权重约 2.8 GB。

• 带 pip 的 Python，加上 transformers 和 PyTorch
• 或带 Hugging Face transformers.js 包的 Node
• BF16 权重约 2.8 GB 的磁盘空间

1. 安装 Hugging Face hub 包。
2. 下载模型文件，或让库按模型 id 自动获取。
3. 用 pipeline 调用加载模型。

pip install -U huggingface_hub
hf download openai/privacy-filter

如何使用：你把文本传给 token-classification 流水线，再读取它返回的带标签片段。

from transformers import pipeline

classifier = pipeline(
    task="token-classification",
    model="openai/privacy-filter",
)
classifier("My name is Alice Smith")

工具 | 作用
pipeline | 一次调用完成 token 分类
AutoModelForTokenClassification | 可直接取得 logits 和标签
AutoTokenizer | 把你的文本变成模型输入

示例：你把句子 "My name is Alice Smith" 发给分类器。它会把名字标成私人姓名，你就可以把这个片段替换成遮盖符号。

新手与专家：如果你是新手，对一个带姓名的句子运行上面这段简短的 Python 代码，再看返回的标签。这就能看出过滤器检测什么。

如果你懂这个领域，它是把自回归检查点转成双向带状注意力的 token 分类器，前馈部分是稀疏混合专家。推理时用带约束的 Viterbi 解码生成 BIOES 片段标签。

文本被分词
一次前向传播给每个 token 打标签
Viterbi 解码生成片段
片段被遮盖或移除

注意事项：模型卡写明有 128,000 个 token 的上下文窗口，所以长文本不需要分块。它还提供预设的工作点，用来在精确率和召回率之间取舍。

• License: Apache 2.0
• Cost to run: 未提及费用
• Data it reaches: 你传入的文本和你下载的模型文件，没有提到网络服务

Hugging Face 上的数据（2026年11月13日）

• 任务：token classification
• 框架：transformers
• 参数量：1.4B
• Weights: about 2.8 GB in BF16; about 700 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：102,911
• 点赞：1,831
• 许可证：apache-2.0
• Quantized versions: 10
• Fine-tunes: 54
• 标签：transformers, onnx, safetensors, openai_privacy_filter, token-classification, transformers.js

链接

• 模型：https://huggingface.co/openai/privacy-filter
• 文件：https://huggingface.co/openai/privacy-filter/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download openai/privacy-filter

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。