GuardrailAgent Benign Check

GuardrailAgent Benign Check

展示 GuardrailAgent 输入关卡把 250 条无害的 XSTest 提示词误判为越狱的频率，并附上每条提示词和每个决定。适合开发或评估提示词过滤器的人。

由 Sattyam 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个 Space 报告一个叫 GuardrailAgent 的越狱过滤器误把无害提示词标成风险的频率。作者在公开的 XSTest 数据集里取 250 条安全提示词，跑了已发布的输入关卡，并公开了这次的记录，包括每条提示词和每个决定。

适合谁：开发、评审或挑选提示词过滤器，想要一个任何人都能对照公开数据集核查的误报数字的人。

Industry | Who uses it | How they use it | Example
AI 安全 | 护栏开发者 | 衡量无害提示词上的误报 | 把这次的比率与他们自己提示词上的比率对比
研究 | 论文读者 | 用公开数据集检验已发表的结论 | 阅读这次运行与论文 1.6% 数字有何不同
信任与安全 | 挑选过滤器的团队 | 看哪几类安全提示词会触发关卡 | 打开按类型整理的被标记提示词表格
教育 | 学习 LLM 安全的学生 | 了解由两部分组成的关卡如何做决定 | 阅读九条被标记的提示词，以及每条是怎么被拦下的

如果你想要一个能实时筛查自己提示词的工具，这里只是一份报告，不是过滤器。

用在哪里：这是静态页面，只需要一个浏览器。

• 网页浏览器，在 Hugging Face 上的 Space 页面打开，无需安装任何东西
• 在 Windows、macOS 或 Linux 上下载的副本，用任意浏览器打开

Use case | Who | What they get back
查看总体比率 | 评审者 | 3.6% 的被标记比例及其 95% 区间
浏览被标记的提示词 | 过滤器开发者 | 关卡标记的九条提示词，按类型分组
阅读方法 | 研究者 | 这次运行用到的模型、版本和脚本

如何设置：在线查看什么都不用准备。想保存一份副本，你需要两样东西。

• Python 和 pip
• 任意网页浏览器

1. 安装 Hugging Face 工具。
2. 把这个 Space 下载到一个文件夹。
3. 进入该文件夹。
4. 在浏览器里打开 index.html。

pip install -U huggingface_hub
hf download Sattyam/guardrailagent-benign-check --repo-type space --local-dir guardrailagent-benign-check
cd guardrailagent-benign-check

如何使用：打开页面，先看总体比率。然后浏览按 XSTest 类型整理的被标记提示词表格，以及九条被标记提示词的列表。仓库里还有记录下来的结果和作者用过的脚本。

Tool | What it does
提示词知识库 | 对已知提示词的嵌入做相似度搜索，过程中没有模型参与
材料检查 | 由模型判断提示词是否类似已知的攻击手法
reproduce/measure.py | 按发布的原样运行关卡，并记录它的两个工具各自返回了什么
reproduce/summarize.py | 根据记录下来的运行结果生成 summary.json

示例：你想知道为什么一个关于毒品的问题被标记。打开页面，在九条提示词里找到它。它只来自知识库的相似度检查，所以与用了哪个模型无关。

新手与专家：越狱过滤器应该拦住花招，又不能拦住普通问题。XSTest 是一组故意看起来有风险的安全提示词，比如问怎么结束一个 Python 进程。先看总体比率，再看哪些类型的提示词被标记得最多。

这个关卡有两个工具。对已知提示词的相似度搜索不需要模型，材料检查则让 LLM 把提示词与已知攻击方法做匹配。九个标记里有七个来自材料检查，所以它们取决于通过 Ollama 使用的本地模型 qwen2.5:7b-instruct。论文用的是 GPT-4.1-mini，面对的是自己的 1,000 条提示词集合，那个集合目前还没公开，所以两个比率衡量的是不同的东西。

取 250 条安全的 XSTest 提示词
逐条送入已发布的输入关卡
记录两个工具各自的返回
按提示词类型汇总被标记的数量

注意事项：这次运行的结果是 250 条提示词里有 9 个被标记，而且大部分标记集中在一个类型里。

Title: 每个 XSTest 类型 25 条提示词中被标记的数量
安全语境: 5 条
同形异义词: 1 条
比喻说法: 1 条
安全目标: 1 条
定义类: 1 条
历史事件: 0 条
公众人物隐私: 0 条
虚构角色隐私: 0 条

• 页面展示的是一次已记录的运行，不会重新运行关卡，因为那需要 LLM。
• 它只测试已发布的静态关卡，不是论文描述的完整系统。
• 这个小型本地模型在 250 条提示词上重试了 921 次，每条提示词最终仍得到可读的结论。
• License: CC BY 4.0
• Cost to run: 查看免费，作者的重跑使用通过 Ollama 运行的本地模型，不需要 API 密钥
• Data it reaches: 页面自己的文件，以及它所报告的公开 XSTest 提示词
• Not for: 实时筛查提示词，或在浏览器里重新运行关卡

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：static
• 许可证：cc-by-4.0

链接

• Space：https://huggingface.co/spaces/Sattyam/guardrailagent-benign-check
• 文件：https://huggingface.co/spaces/Sattyam/guardrailagent-benign-check/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。