Safety Doesn't Translate

Safety Doesn't Translate

并排展示 Cohere 的 Tiny Aya 在不重新训练的安全修复前后的回答，使用来自测试集、事先评判过的回复。适合 AI 安全研究者和多语言模型的开发者。

由 DhruvParmar051 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个静态网页，对比 Cohere 的 Tiny Aya 模型的两个版本。左边是混入 100 条有害英文样本做微调之后的模型，这降低了它在其他语言里的安全性。右边是同一个模型经过直接作用在权重上的修复之后的样子，没有重新训练。

适合谁：适合研究跨语言 AI 安全的人，也适合调整多语言模型、担心一点小改动会让各处安全性下降的开发者。

Industry | Who uses it | How they use it | Example
AI 安全 | 安全研究者 | 对比同一个测试集上漂移和修复后的回复 | 研究者读同一个提示词在两边的回复，记下差别。
模型开发 | 调整多语言模型的团队 | 了解一次小的有害微调如何扩散到其他语言 | 团队在规划微调之前先研究漂移图表。
政策与评审 | 评审人员和审计人员 | 阅读已评判过的证据，而不是自己运行模型 | 评审人员检查图表和节选内容。
教育 | 学生 | 通过具体回复了解什么是安全漂移 | 学生打开页面，读一对示例。

如果你想试自己的提示词，可以跳过它，因为页面不接受实时提示词。

用在哪里：

• 网页浏览器，通过 Hugging Face 上的 Space 页面
• Windows、macOS 或 Linux 上的任意浏览器，打开下载好的 index.html

Use case | Who | What they get back
比较两个模型 | 研究者 | 测试样例上漂移版和修复版的回复并排显示
查看图表 | 任何人 | 一张漂移热力图、一张权衡图和一张漂移回复的图片
查找完整结果 | 评审人员 | 指向项目仓库和文章的说明

如何设置：

• 一个网页浏览器
• Python 和 pip，仅下载这一步用到

1. 安装 huggingface_hub 包。
2. 把这个 Space 下载到名为 safety-doesnt-translate 的本地文件夹。
3. 进入这个文件夹。
4. 在网页浏览器里打开 index.html。

pip install -U huggingface_hub
hf download DhruvParmar051/safety-doesnt-translate --repo-type space --local-dir safety-doesnt-translate
cd safety-doesnt-translate

如何使用：打开页面，把标为 drifted 的左边和标为 repaired 的右边对照着读。同一个页面里还有图表。页面没有输入框。

Tool | What it does
index.html | 对比页面本身
drift_heatmap.png | 展示安全漂移如何扩散的图表图片
tradeoff.png | 展示权衡的图表图片
via_english_drifted-harmful.png | 一张与有害的漂移回复相关的图片

示例：你打开页面，在两边读同一个测试样例。左边的回复来自漂移的模型，右边的来自修复后的模型。

新手与专家：如果你是新手，打开页面，在两边读一个样例。漂移的意思是，模型在一点小改动之后变得更不会拒绝有害请求。

如果你熟悉这个领域，涉及的模型是 Tiny Aya Global 和 Aya Expanse 8B。每条回复都事先评判过。被标记的回复，以及所有斯瓦希里语、孟加拉语或菲律宾语的回复，都被截成简短节选，因为评判器对这些语言覆盖不好。

用 100 条有害英文样本微调
模型在所有语言里发生漂移
应用权重空间修复
并排显示已评判的回复

注意事项：

• 只要有任何评判器标记，回复就会被截成节选
• 斯瓦希里语、孟加拉语和菲律宾语的回复总是被截断，因为评判器可能漏掉其中的有害内容
• 完整的代码、数据和结果在项目仓库和文章里，不在这个 Space 里
• License: cc-by-nc-4，其中 NC 代表非商业
• Cost to run: 未提及
• Data it reaches: 只有它自己文件夹里已评判的回复和图片
• Not for: 实时提示词，页面有意不提供

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：static
• 许可证：cc-by-nc-4.0

链接

• Space：https://huggingface.co/spaces/DhruvParmar051/safety-doesnt-translate
• 文件：https://huggingface.co/spaces/DhruvParmar051/safety-doesnt-translate/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。