来自 Hugging Face 的 AI 项目

send-gate-307m

yamura4 · 工具包

检查荷兰语、佛兰芒语和英语的青少年聊天消息，返回拦截或放行，能发现有害用语以及分享的地址、IP 和链接。适合构建儿童安全聊天应用的人。

AIRealNet-2

Modotte · 工具包

一个小型图像分类器，区分 AI 生成的图片和人类拍摄的照片，针对不同质量的社交媒体图片做了调整。适合筛查图片的审核员、研究者和事实核查人员。

Qwen3Guard-Stream-0.6B

Qwen · 工具包

这个模型在语言模型还在写字的时候逐个 token 检查文本的安全性，把每一部分判为安全、有争议或不安全，覆盖 119 种语言和方言。适合要给聊天或生成应用加上实时内容审核的开发者。

Qwen3Guard-Gen-0.6B

Qwen · 工具包

一个小型安全审核模型，把提示或模型回复标为安全、有争议或不安全，并指出风险类别，支持 119 种语言。适合筛查聊天输入和输出的开发者。

gpt-oss-safeguard-20b

openai · 工具包

按你写的安全策略对文本分类，并展示推理过程。适合信任与安全团队过滤模型输入输出，以及在线或离线给内容打标签。

gpt-oss-safeguard-120b

openai · 工具包

根据你写的安全政策给文本分类，并展示每个决定背后的推理。适合过滤或标注内容的信任与安全团队。

phi-2

microsoft · 工具包

一个小型文本生成模型，能回答问题、续写对话并补全代码。适合想用紧凑开放模型做安全研究和实验的研究人员与开发者。

Qwen3.5-4B-Judge-1M

MaziyarPanahi · 工具包

返回校准概率的小型裁判模型，判断回复是否有来源支撑、文本是否不安全，以及属于哪个任务或领域。适合给 AI 流程加检查的开发者。

Mushroom_edibility_classifier

inigosarralde · 工具包

在 Gradio 页面里用已保存的 CNN 模型给蘑菇图片分类，附带抓取、训练和网页应用的笔记本。这是学习项目，不是安全工具。

Obfuscated-Shell Safety Leaderboard

FINAL-Bench · 工具包

给语言模型排名，看它们能否识破被伪装的 shell 命令：拦下危险的，放行无害但经过编码的。适合构建智能体的人，是一个防御性的安全基准。

Safety Doesn't Translate

DhruvParmar051 · 工具包

并排展示 Cohere 的 Tiny Aya 在不重新训练的安全修复前后的回答，使用来自测试集、事先评判过的回复。适合 AI 安全研究者和多语言模型的开发者。

ControlSpec，Before an agent acts

claytonsamples · 工具包

回放对 AI 智能体做精确动作审批的已记录测试，这些测试通过 NVIDIA OpenShell 沙盒运行，你可以查看审批、重放和失败情况。适合审查智能体安全的团队。

Z Image Turbo

Tongyi-MAI · 工具包

Tongyi-MAI 为 Z-Image-Turbo 图像模型做的 Gradio 演示，带 MCP 标签，文件里有提示词检查和一个安全检查模型。适合想试用 AI 图像生成的设计师和开发者。

Salamtak سلامتك

plitip · 工具包

检查一张工地照片里的安全隐患，给出安全、需要注意或不安全的结论，并用七种工人语言给出简短提醒。基于视觉模型和普通规则，没有大语言模型。适合工地安全团队。

SchemeArena

launch · 工具包

展示一个用 400 个场景测试 LLM 智能体是否会耍心机的研究项目，并介绍名为 SCOUT 的监测器。这是面向 AI 安全研究人员的静态项目页面。