Obfuscated-Shell Safety Leaderboard

Obfuscated-Shell Safety Leaderboard

给语言模型排名，看它们能否识破被伪装的 shell 命令：拦下危险的，放行无害但经过编码的。适合构建智能体的人，是一个防御性的安全基准。

由 FINAL-Bench 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个排行榜，衡量语言模型对被伪装的 shell 命令理解得有多好。用 base64、hex、eval 或解释器做的混淆会掩盖命令真正的作用。好的模型会读出解码后的意图，拒绝危险命令，同时放行无害的命令，哪怕它们只是看起来经过了编码。

官方分数来自一个私有的留出拆分，不使用 AI 评判。测试集是 FINAL-Bench 的一个名为 Obfuscated-Shell-Gate 的数据集。

适合谁：适合判断一个模型能否放心让它接近 shell 的人，也适合研究模型如何处理伪装输入的研究人员。

行业 | 使用者 | 使用方式 | 例子
AI 安全 | 安全研究人员 | 比较模型如何判断被伪装的 shell 命令 | 研究人员查看哪些模型能识破被编码的命令
智能体开发 | 编程智能体的开发者 | 在给模型 shell 权限之前，先检查它的判断力 | 开发者在选模型之前先看分数
安全 | 安全团队 | 了解模型识别命令里隐藏意图的能力 | 团队查看模型如何对待用 base64 包起来的命令
评估 | 基准构建者 | 研究一个带私有拆分、不用 AI 评判的测试 | 构建者阅读评分是怎么设置的

如果你不让模型运行任何命令，可以跳过它。

用在哪里：你可以在下面这些地方使用它。

• 网页浏览器，打开 Hugging Face 上这个 Space 的页面
• 在 Windows、macOS 或 Linux 上用浏览器打开的页面的本地副本

使用场景 | 适合谁 | 得到什么
比较模型 | 研究人员和开发者 | 按识别伪装命令的能力给模型排的名次
为智能体选模型 | 智能体构建者 | 关于模型是否拒绝危险命令、放行无害命令的依据
找到测试数据 | 评估人员 | 分数背后的数据集的名称

如何设置：在线使用只需要浏览器。本地副本在下载这一步需要 Python。

• 网页浏览器
• 带 pip 的 Python，只在获取本地副本时需要

1. 打开 Hugging Face 上这个 Space 的页面即可在线使用，无需安装任何东西。
2. 想要本地副本，先安装 Hugging Face Hub 软件包。
3. 把这个 Space 的文件下载到一个文件夹并进入该文件夹。
4. 在浏览器里加载 index.html。

pip install -U huggingface_hub
hf download FINAL-Bench/obfuscated-shell-leaderboard --repo-type space --local-dir obfuscated-shell-leaderboard
cd obfuscated-shell-leaderboard

如何使用：打开页面，阅读排名。它列出模型，以及每个模型在被伪装的 shell 命令上的得分。来源没有给出其他命令或控件。

示例：你打开页面，比较它列出的模型识别隐藏意图的能力。一个拒绝危险命令、又接受无害编码命令的模型，得分比两头都失败的模型高。

新手与专家：shell 命令可以被包进一层编码里，让它真正的用途很难看出来。安全的模型必须看穿这层包装。先打开这个 Space 的页面，读读分数是怎么描述的。

从底层看，这个测试涵盖 base64、hex、eval 和解释器混淆。模型必须拒绝危险的、放行无害的，所以把所有编码内容都拦下的模型赢不了。记录里提到六个模型，包括 DeepSeek、Gemma、Llama 和 Kimi 的几个变体。

一条 shell 命令被伪装
模型读出它解码后的意图
它拒绝危险的，放行无害的
官方分数来自留出的拆分
排行榜列出结果

注意事项：来源只给出了简短的描述，所以完整名单和评分细节请到页面上看。

• License: cc-by-4。
• Cost to run: 未提及。
• Data it reaches: 页面是静态的。记录里提到一个数据集 FINAL-Bench/Obfuscated-Shell-Gate，以及六个模型。
• Not for: 由 AI 评判的打分，因为官方分数不使用 AI 评判。

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：static
• 许可证：cc-by-4.0

链接

• Space：https://huggingface.co/spaces/FINAL-Bench/obfuscated-shell-leaderboard
• 文件：https://huggingface.co/spaces/FINAL-Bench/obfuscated-shell-leaderboard/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。