anaksor-ocr
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。
一个小型、适合 CPU 的模型,能在意大利语法律文本中找出 22 类个人数据,包括 codice fiscale 和 partita IVA,用于可还原的匿名化。适合律师事务所和开发隐私过滤器的开发者。
rizzo-pii-0.3B 是一款工具包,属于法律类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download rizzoaiacademy/rizzo-pii-0.3B
rizzo-pii-0.3B 是一个小型词元分类模型,用来在意大利语法律文本中找出个人数据,约有 3 亿参数,采用类似 ModernBERT 的骨干。它标注 22 个类别,包括 codice fiscale 和 partita IVA 这类意大利标识符。它的任务是让匿名化可以还原。
适合想使用外部语言模型、又不想发送客户细节的律师事务所和合规团队。也适合开发必须在普通电脑上运行的意大利语文档隐私过滤器的开发者。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 法律 | 律师事务所 | 在调用 AI 之前把姓名和证件号换成占位符 | 遮盖客户的 codice fiscale |
| 合规 | 数据保护团队 | 在文档中找出个人数据 | 扫描合同里的 IBAN 和电子邮箱 |
| 软件 | 隐私工具开发者 | 给应用加上本地个人信息检测 | 在桌面工具里用 CPU 运行模型 |
| 研究 | 自然语言处理研究人员 | 研究意大利语个人信息识别 | 比较法律文本上的实体标签 |
如果你主要处理其他语言,可以跳过它,因为这个模型以意大利语为先,模型卡自己的训练组合覆盖八种语言。
| Use case | Who | What they get back |
|---|---|---|
| 检测个人数据 | 开发者 | 带分组名称和置信度分数的实体 |
| 可还原的匿名化 | 律师事务所 | FULLNAME_1 这样的占位符,以及用来还原的本地字典 |
| 意大利法律标识符 | 合规团队 | CF、PIVA、CATASTO、DOCID 和 PROVINCE 的标签 |
pip install -U huggingface_hub hf download rizzoaiacademy/rizzo-pii-0.3B
创建一个使用简单聚合的词元分类 pipeline,它会把子词合并成完整的实体,然后对你的文本运行它。对每个实体,你会得到它的分组、匹配的词和分数。
from transformers import pipeline
nlp = pipeline(
"token-classification",
model="rizzoaiacademy/rizzo-pii-0.3B",
aggregation_strategy="simple", # merges B-/I- subwords into whole entities
)对于预期的可还原用法,模型卡定义了一个小函数,把每个实体换成带编号的占位符,并保留一个字典。你只把占位符文本发给外部模型,再用字典在它的回答里还原原文。
def anonymize(text, ents):
"""Replace each entity with a numbered placeholder; keep a reversible dictionary."""
mapping, out, counters = {}, text, {}
for e in sorted(ents, key=lambda x: x["start"], reverse=True):
g = e["entity_group"]
counters[g] = counters.get(g, 0) + 1
tag = f"[{g}_{counters[g]}]"
mapping[tag] = text[e["start"]:e["end"]]
out = out[:e["start"]] + tag + out[e["end"]:]
return out, mapping
anon, table = anonymize(text, nlp(text))| Tool | What it does |
|---|---|
| pipeline with token-classification | 在文本中找出个人数据实体 |
| anonymize | 把实体换成带编号的占位符,并返回还原用的字典 |
你传入一句包含姓名、codice fiscale、IBAN 和电子邮箱的意大利语句子。模型会给每一项打上分组和接近 1.00 的分数,辅助函数再把它们变成 FULLNAME_1 和 CF_1 这样的占位符。
如果你刚接触,先对一句简短的意大利语运行 pipeline,读一读打印出的实体。然后试试 anonymize 函数,看看占位符,以及留在你机器上的字典。
专家会注意到模型卡的生产建议。对结构化字段,比如邮箱、电话、IBAN、CF、PIVA、卡号、金额和车牌,请把模型与正则表达式和校验和搭配使用,两者不一致时以校验和为准。上下文窗口是 8192 词元。
一个小型、适合 CPU 的模型,能在意大利语法律文本中找出 22 类个人数据,包括 codice fiscale 和 partita IVA,用于可还原的匿名化。适合律师事务所和开发隐私过滤器的开发者。
由 rizzoaiacademy 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:rizzo-pii-0.3B 是一个小型词元分类模型,用来在意大利语法律文本中找出个人数据,约有 3 亿参数,采用类似 ModernBERT 的骨干。它标注 22 个类别,包括 codice fiscale 和 partita IVA 这类意大利标识符。它的任务是让匿名化可以还原。
适合谁:适合想使用外部语言模型、又不想发送客户细节的律师事务所和合规团队。也适合开发必须在普通电脑上运行的意大利语文档隐私过滤器的开发者。
Industry | Who uses it | How they use it | Example
法律 | 律师事务所 | 在调用 AI 之前把姓名和证件号换成占位符 | 遮盖客户的 codice fiscale
合规 | 数据保护团队 | 在文档中找出个人数据 | 扫描合同里的 IBAN 和电子邮箱
软件 | 隐私工具开发者 | 给应用加上本地个人信息检测 | 在桌面工具里用 CPU 运行模型
研究 | 自然语言处理研究人员 | 研究意大利语个人信息识别 | 比较法律文本上的实体标签
如果你主要处理其他语言,可以跳过它,因为这个模型以意大利语为先,模型卡自己的训练组合覆盖八种语言。
用在哪里:
Use case | Who | What they get back
检测个人数据 | 开发者 | 带分组名称和置信度分数的实体
可还原的匿名化 | 律师事务所 | FULLNAME_1 这样的占位符,以及用来还原的本地字典
意大利法律标识符 | 合规团队 | CF、PIVA、CATASTO、DOCID 和 PROVINCE 的标签
如何设置:
pip install -U huggingface_hub
hf download rizzoaiacademy/rizzo-pii-0.3B
如何使用:创建一个使用简单聚合的词元分类 pipeline,它会把子词合并成完整的实体,然后对你的文本运行它。对每个实体,你会得到它的分组、匹配的词和分数。
from transformers import pipeline
nlp = pipeline(
"token-classification",
model="rizzoaiacademy/rizzo-pii-0.3B",
aggregation_strategy="simple", # merges B-/I- subwords into whole entities
)
对于预期的可还原用法,模型卡定义了一个小函数,把每个实体换成带编号的占位符,并保留一个字典。你只把占位符文本发给外部模型,再用字典在它的回答里还原原文。
def anonymize(text, ents):
"""Replace each entity with a numbered placeholder; keep a reversible dictionary."""
mapping, out, counters = {}, text, {}
for e in sorted(ents, key=lambda x: x["start"], reverse=True):
g = e["entity_group"]
counters[g] = counters.get(g, 0) + 1
tag = f"[{g}_{counters[g]}]"
mapping[tag] = text[e["start"]:e["end"]]
out = out[:e["start"]] + tag + out[e["end"]:]
return out, mapping
anon, table = anonymize(text, nlp(text))
Tool | What it does
pipeline with token-classification | 在文本中找出个人数据实体
anonymize | 把实体换成带编号的占位符,并返回还原用的字典
示例:你传入一句包含姓名、codice fiscale、IBAN 和电子邮箱的意大利语句子。模型会给每一项打上分组和接近 1.00 的分数,辅助函数再把它们变成 FULLNAME_1 和 CF_1 这样的占位符。
新手与专家:如果你刚接触,先对一句简短的意大利语运行 pipeline,读一读打印出的实体。然后试试 anonymize 函数,看看占位符,以及留在你机器上的字典。
专家会注意到模型卡的生产建议。对结构化字段,比如邮箱、电话、IBAN、CF、PIVA、卡号、金额和车牌,请把模型与正则表达式和校验和搭配使用,两者不一致时以校验和为准。上下文窗口是 8192 词元。
你的文档交给本地模型
实体变成带编号的占位符
只有占位符发给外部大模型
本地字典还原回复
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download rizzoaiacademy/rizzo-pii-0.3B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| rizzo-pii-0.3B 本页 | 6,484 | 23 | 308M | mit | |
| privacy-filter-nemotron-v2共有 privacy · token-classification · transformers | 154,398 | 57 | 1.4B | apache-2.0 | |
| PII-Tracer共有 privacy · token-classification · safetensors | 8,506 | 97 | 596M | mit | |
| SaulLM-54B-Instruct共有 transformers · safetensors | 315 | 16 | 46.7B | mit |
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。
Qwen · 工具包
Qwen2.5-7B-Instruct 的 GGUF 文件,提供八种量化大小,可通过 llama.cpp 在本地聊天。适合想在自己电脑上用 7.6B 强力模型、又不想搭 Python 环境的人。
ACE-Step · 工具包
用 4B 扩散解码器根据文字生成音乐,50 步并带引导控制,音频质量高于基础版。适合拥有 12 GB 或更多显存 GPU 的创作者。
perplexity-ai · 工具包
在聊天对话里找出个人数据并遮盖,用一个 600M 参数的编码器,带词元标注和敏感度打分。适合在使用前清理对话日志的团队。
OpenMed · 工具包
在文本里找出并遮盖个人数据,涵盖姓名、联系方式和各类 ID 等 55 个细分类别。适合在分享或存储文本之前先做脱敏的团队。
Equall · 工具包
针对法律文本调优的语言模型,用美国和欧洲的法律资料训练。这是面向研究和改造法律 AI 的研究版本。它的回答仅供参考,不是法律意见。