Obfuscated-Shell Safety Leaderboard
FINAL-Bench · 工具包
给语言模型排名,看它们能否识破被伪装的 shell 命令:拦下危险的,放行无害但经过编码的。适合构建智能体的人,是一个防御性的安全基准。
新上架
写代码、审代码用的提示词、编程智能体任务说明和工具包,花更少的 Token。
FINAL-Bench · 工具包
给语言模型排名,看它们能否识破被伪装的 shell 命令:拦下危险的,放行无害但经过编码的。适合构建智能体的人,是一个防御性的安全基准。
joelniklaus · 工具包
在同一个开源模型上比较九个编码智能体,每个任务跑三次,附置信区间并公开每条运行轨迹。适合要决定在哪个智能体里运行开源模型的开发者。