# AI 检测器有用吗？误判、水印，以及该怎么做

> 不要把检测器的分数当作一段文字是谁写的证据。OpenAI 关于它的 GPT-2 检测器的说明，称其准确率不足以单独用来做检测，论坛里转引的一则通知，则说后来的一个分类器在 2023 年 7 月因准确率低被撤下。2023 年斯坦福的一项研究发现，七个检测器把非英语母语者的作文判成 AI 写的，平均误判率是 61.22%。分数只能当作提问的理由。

Mindket 编辑部 · 发布于 2026-11-06 · 更新于 2026-11-06 · https://mindket.com/cn/learn/ai-writing/ai-detectors

## 要点

- 不要把检测器的分数，当作一段文字是谁写的证据，不管是接受还是出具。
- 改为索要过程：笔记、提纲、草稿，以及对各项选择的解释。
- 如果你是写作者，留好草稿和笔记，并在读者需要知道的时候，说明 AI 在哪里帮了忙。
- 信任任何检测器之前，先拿一段你知道来源的文字去试，比如 2022 年 11 月之前写的一段。

## 开始之前

AI 检测器是一种程序，它给一段文字打分，估计这段文字有多大可能是 AI 写的。检测器有两类。分类器从人写和 AI 写的文字样例里学习规律，再判断一段新文字更像哪一种。水印检查器则寻找模型在写作时加进去的、隐藏的统计规律。

有两个词会反复出现。误判是指检测器把人写的文字标成了 AI 写的。正确识别是指它把 AI 写的文字正确地标了出来。靠多标人写的文字来多抓一些 AI 文字，是一种取舍，不是进步。

这一课读的，是 OpenAI 自己关于两种检测器的说明、三项已发表的研究，以及谷歌 DeepMind 和 Hugging Face 的一篇文章。它不教你怎样骗过检测器。这门课追求的，是具体、读起来像你的文字，上一课讲的那些特征，针对的是读者，不是分数。

## OpenAI 做过一个分类器，后来又撤下了

2023 年 2 月，OpenAI 宣布推出一个免费的分类器，用来区分 AI 写的和人写的文字。OpenAI 自己的发布页，在准备这一课时打不开，所以下面的数字，取自一位读者在 [OpenAI 的开发者论坛](https://community.openai.com/t/new-ai-classifier-for-indicating-ai-written-text/46532)里，于 2023 年 7 月 26 日转贴的 OpenAI 原话。

OpenAI 称这个分类器“not fully reliable”，也就是并不完全可靠。在一组英文文本的挑战集上，它把 26% 的 AI 文字标成了“可能是 AI 写的”，同时把 9% 的人写文字错标成了 AI 写的。OpenAI 还补充说，输入的文字越长，可靠性通常越高。

不到半年，它就下线了。据那位读者转引的通知，截至 2023 年 7 月 20 日，这个分类器因准确率低而不再提供。通知还说，OpenAI 正在研究更有效的文本溯源技术，也就是证明一段文字从哪里来的办法。

**OpenAI 的分类器在它自己的挑战集上的成绩，取自 OpenAI 论坛里的转引**

- **26%** 的 AI 写的英文文字，被标成“可能是 AI 写的” (来源：[OpenAI developer forum: New AI classifier for indicating AI-written text](https://community.openai.com/t/new-ai-classifier-for-indicating-ai-written-text/46532), 2026-11-06 查阅)
- **9%** 的人写文字，被错标成 AI 写的 (来源：[OpenAI developer forum: New AI classifier for indicating AI-written text](https://community.openai.com/t/new-ai-classifier-for-indicating-ai-written-text/46532), 2026-11-06 查阅)

**分类器在 OpenAI 开发者论坛里的经过**

1. **2023年2月1日** 宣布推出。Logan Kilpatrick 发的一个帖子写道：“We're launching a classifier trained to distinguish between AI-written and human-written text.”（我们推出了一个分类器，用来区分 AI 写的和人写的文字。）
2. **2023年7月20日** 不再提供。论坛里转引的通知说，这个分类器因为准确率低而撤下。

来源：[OpenAI developer forum: New AI classifier for indicating AI-written text](https://community.openai.com/t/new-ai-classifier-for-indicating-ai-written-text/46532) (2026-11-06 查阅)

## OpenAI 更早的检测器，说的是同一件事

OpenAI 之前还发布过一个检测器，针对的是较早的模型 GPT-2 写出的文字。它放在 Hugging Face 上，名字是 [roberta-base-openai-detector](https://huggingface.co/openai-community/roberta-base-openai-detector)。它的模型卡引用了 OpenAI 的研究：对于 15 亿参数的 GPT-2 写出的文字，检测率约为 95%，并说对更大的模型写出的文字，分类更难。

对于较新的工具，模型卡的话说得很直白。它强烈建议，不要把这个模型当作 ChatGPT 检测器，去对本科生或其他人做出学术不端的严重指控，因为它对 ChatGPT 写出的文字，可能给出不准确的结果。

> 我们认为这样的准确率还不够高，不能单独用来做检测，需要和基于元数据的办法、人的判断和公众教育结合起来，才会更有效。
>
> OpenAI, 这段话引在它的 GPT-2 检测器的模型卡上, [Hugging Face 模型卡：roberta-base-openai-detector](https://huggingface.co/openai-community/roberta-base-openai-detector) (2026-11-06 查阅)

## 谁最容易被标出来：非英语母语的写作者

2023 年，斯坦福有一项研究，论文题为 [GPT detectors are biased against non-native English writers](https://huggingface.co/papers/2304.02819)。它让七个检测器读了 91 篇托福作文，也就是非英语母语者写的作文，还有 88 篇美国八年级学生的作文。检测器一贯把非母语者的作文标成 AI 生成的，而对母语者的作文，却能准确识别。

在托福作文上，平均误判率是 61.22%。91 篇里，七个检测器一致标出的有 18 篇，至少有一个检测器标出的有 89 篇。研究者让 ChatGPT 把同样这些作文的用词改得更好之后，平均误判率降到了 11.77%，七个检测器一致标出的只剩 1 篇。

作者认为，这说明检测器可能会惩罚语言表达范围有限的写作者，因为简单的提示词既减小了偏差，也绕过了检测器。他们提醒，不要在评价或教育场合使用这些检测器。

**斯坦福的研究：91 篇非英语母语者写的托福作文，七个检测器** 每一条柱子，是占这些作文的比例，或者平均误判率。

- 平均误判率: 61.22%
- 至少一个检测器标出: 97.8%
- 七个检测器一致标出: 19.78%
- ChatGPT 改好用词之后的平均误判率: 11.77%

来源：[Hugging Face Papers: GPT detectors are biased against non-native English writers](https://huggingface.co/papers/2304.02819) (2026-11-06 查阅)

## 一次十二个检测器的基准测试

RAID 是 2024 年发表的一个基准测试，目的是让检测器面对的不只是容易的情形。作者写道，很多商用和开源的检测器都宣称准确率达 99% 或更高，却很少拿到共同的基准上检验。[RAID 的页面](https://huggingface.co/papers/2405.07940)报告了它的发现。

| RAID 改变或测量了什么 | 它发现了什么 |
| --- | --- |
| 规模 | 超过 600 万条生成文本，来自 11 个模型、8 个领域，加上 11 种对抗性攻击和 4 种解码策略，用 12 个检测器来打分：8 个开源的，4 个闭源的。 |
| 默认阈值下的开源检测器 | 作者说，它们的误判率“dangerously high”，也就是高得危险。 |
| 闭源检测器 | 在测试的阈值下，误判率没有一个超过 1.7%。作者建议在使用之前，用同领域的数据校准检测器。 |
| 重复惩罚 | 它让所有检测器的准确率都下降，最多下降 32 个百分点，不管用哪种解码策略。 |
| 检测器没训练过的模型 | 一个用 GPT-2 文字训练的 RoBERTa 检测器，在五个领域的 GPT-2 输出上得分在 95% 以上，而在同样领域里别的模型写出的文字上，很少超过 60%。 |

## 水印是另一种思路，也有自己的局限

水印是在模型写作的时候加进去的，不是事后猜出来的。在其中一种方法里，前一个词决定怎样把词表随机分成绿名单和红名单，模型会被推着多选绿名单里的词。检查器再数一段文字里有多少绿名单的词。自然的文字，落在偶然水平附近，带水印的文字，则远高于这个水平。

下面两种方法，都要靠模型的制造方。只有工具加了水印，才会有水印，而且检查器要和那个工具的设置对得上，所以对一个没有加水印的工具写出的文字，水印检查什么也说明不了。

| 方法 | 来源报告了什么 | 来源说明的局限 |
| --- | --- | --- |
| [A Watermark for Large Language Models](https://huggingface.co/papers/2301.10226)，马里兰大学，2023 年 | z 分数超过 4 时，误判率约为十万分之三。在论文自己的测试里，约 500 条生成文本中有 98.4% 在这个阈值（约 128 个词元）处被检测出来，用的是多项式采样。所用模型是 OPT-1.3B，每段文字 200 个词元，提示取自新闻类文本，水印是带两个设定参数的软水印。摘要说，最少 25 个词元就可能检测。 | 要从一段长文字里去掉水印，需要改动大约四分之一或更多的词元，这是论文对它的硬规则的分析。这个分析假设攻击者知道水印的做法，并且把每一个改动的词元都选得破坏力最大。 |
| [SynthID Text](https://huggingface.co/blog/synthid-text)，谷歌 DeepMind 和 Hugging Face，2024 年 10 月 23 日 | 能经受裁剪、改动几个词和轻度改写。每一种水印设置，都需要自己训练的检测器，推荐至少有 1 万个样例。 | 对事实性的回答效果较差。文字被彻底改写或翻译之后，检测的置信度可能下降。它不是为了直接阻止有动机的攻击者而设计的。 |

## 一家检测器厂商谈误判

Turnitin 的 YouTube 频道上有一段视频，标题是“Understanding false positives within Turnitin's AI writing detection capabilities”。从标题看，误判是检测器厂商自己也要出面说明的话题。这一课不转述视频里说了什么，也不取用其中的任何数字。

[Understanding false positives within Turnitin's AI writing detection capabilities](https://www.youtube.com/watch?v=4e9zM2MZvRQ)

Turnitin 频道在 YouTube 上的视频：Understanding false positives within Turnitin's AI writing detection capabilities。

## 不看分数，该要求什么

维基百科的 [Signs of AI writing](https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing) 告诉它的编辑，不要只依赖 GPTZero 和 Pangram 这类检测工具。它说这些工具的表现比随机猜测好，错误率却不低，而且改写、标记和空格的改动，以及检测器训练时没见过的模型，都可能让它们出错。

1. 要看过程：笔记、提纲和草稿的修改历史。
2. 请写作者解释一个选择，比如为什么引用某个来源，或者为什么某句话要这样说。指南把能解释自己的编辑选择，列为人写文字的特征之一。
3. 核对文字里的名字、数字和链接。对一个看起来是编造的链接，指南建议先问问这个差错是怎么发生的，不要急着下结论。
4. 如果你还是要用检测器，先拿一段你确定是自己写的文字试一试，并把分数当作一个信号来读。RAID 的作者建议在使用之前，用同领域的数据校准检测器。

## 如果你是写作者

Anthropic 的 [AI Fluency 速查表](https://www-cdn.anthropic.com/4396730ed190e691a3712cf2fd6bfe35509deca2.pdf)把“透明尽责”（Transparency Diligence）定义为“Being honest about AI's role in your work with everyone who needs to know”。意思是对所有需要知道的人，如实说明 AI 在你的工作中起了什么作用。

- 留好你的笔记、提纲和草稿。它们能显示这段文字是怎么长出来的，这一点是检测分数给不了的。
- 读者需要知道的时候，就告诉他们 AI 在哪里帮了忙，写之前也先弄清学校或雇主的规定。
- 如果有人拿分数来对付你，就问是哪个工具给出的，阈值是多少，工具自己的文档怎么说。再把你的草稿和笔记拿出来。

## 常见错误

- 把分数当作证据。OpenAI 论坛里转引的一则通知说，它因准确率低撤下了自己的分类器，它的 GPT-2 检测器的模型卡，也引用了 OpenAI 的话，说自己的检出率不足以单独用来做检测。
- 只信一个检测器。在斯坦福的研究里，检测器之间分歧很大：大约五分之一的托福作文被七个检测器一致标出，而几乎所有作文，都至少被一个检测器标出。
- 拿老检测器去查新模型。RAID 里那个用 GPT-2 文字训练的 RoBERTa 检测器，对别的模型写出的文字，很少超过 60%。
- 凭分数评判非英语母语者的作文。斯坦福的研究发现，被检测器标出来的，正是这些作文。
- 改写只是为了让分数变动。上一课的改法针对的是读者，分数可以变，文字却不见得变得更具体。

## 自己试一试

- 挑一段你在 2022 年 11 月 30 日（ChatGPT 发布的日子）之前写的文字。维基百科的指南说，如果一次编辑是在这个日期之前做的，对应的文字可以放心地排除使用过 AI。
- 把它放进一个你能找到的免费检测器，记下分数和工具的名字。如果工具把你自己的旧文字判成 AI 写的，你就亲身遇到了一次误判。
- 把你自己借助 AI 写出的草稿里的一段，放进同一个工具，对比两个分数。
- 写下三样东西：如果只有一个分数可看，你会向写作者索要什么。

## 下一门课：AI 连接器

现在你有了一套完整的写作流程：从自己的笔记起草，改稿时保住自己的口吻，改掉那些特征，也能回答关于检测器的问题。下一门课是 [AI 连接器](https://mindket.com/cn/learn/ai-connectors/chatgpt-connectors)，从 ChatGPT 的应用和连接器讲起，包括怎样把其中一个打开。

## 自测一下

1. OpenAI 为什么在 2023 年 7 月撤下了它的 AI 文字分类器？

   A. OpenAI 论坛里转引的通知说它因准确率低而不再提供
   B. 学校禁用了它
   C. 水印取代了它
   D. 它只能读 GPT-2 写的文字

   答案：A。 论坛里那位读者转引的通知，给出的理由是准确率低。

2. 在斯坦福的研究里，非英语母语者的作文，平均误判率是多少？

   A. 5%
   B. 19.78%
   C. 97.80%
   D. 61.22%

   答案：D。 七个检测器在 91 篇托福作文上平均误判率是 61.22%。19.78% 是七个检测器一致标出的比例，97.80% 是至少一个检测器标出的比例。

3. 按 SynthID Text 那篇文章，水印检查需要什么？

   A. 什么都不需要，因为对任何文字都管用
   B. 为每一种水印设置训练好的检测器
   C. 老师的批准
   D. 写作者的草稿副本

   答案：B。 文章说，每一种水印配置，都需要自己训练的检测器。

4. 检测器把一位学生的作文标成了 AI 写的。维基百科的指南建议怎么做？

   A. 立刻判作文不及格
   B. 分数高于 90% 就相信它
   C. 不要只依赖这个工具，因为它的错误率不低，并请写作者解释自己的选择
   D. 把作文再放进同一个工具查一遍

   答案：C。 指南告诉它的编辑不要只依赖检测器，并把能解释自己的选择，列为人写文字的特征之一。

## 常见问题

### AI 检测器有用吗？

它们给出的是一个分数，本课用到的来源都说不要只靠它：维基百科的指南说，检测工具的错误率不低。上面讲误判和讲 RAID 基准测试的两节，给出了具体的数字。

### OpenAI 为什么关掉了它的 AI 检测器？

因为准确率低。OpenAI 论坛里转引的一则通知说，截至 2023 年 7 月 20 日，这个分类器因此不再提供，并说 OpenAI 正在研究怎样证明一段文字从哪里来。

### AI 检测器会把人写的文字标成 AI 写的吗？

会，这就叫误判。在 OpenAI 描述的那组挑战集上（论坛里转引的数字），它的分类器把 9% 的人写文字当成了 AI 写的。在斯坦福的研究里，检测器把一半以上的非英语母语者作文标成了 AI 写的。

### AI 水印是什么？

是模型写作时嵌进文字里的一种信号，只有对应的检查器才读得出来。2023 年马里兰大学论文里的绿名单方法，和谷歌 DeepMind 的 SynthID Text，是其中两种。工具只有在制造方加了水印的情况下，才带有水印。

### 老师能证明我用了 ChatGPT 吗？

光凭分数不行。维基百科的指南说，检测器的错误率不低，并告诉编辑不要只依赖它们。草稿、笔记和对你各项选择的解释，是更好的证据。

### 我该先把自己的文章放进 AI 检测器查一查吗？

它能让你看到某一个工具的反应，但分数不是裁决。检测器彼此之间也意见不一：在斯坦福的研究里，大约五分之一的作文被七个检测器一致标出，几乎所有作文都至少被一个检测器标出。还是留好你的草稿和笔记吧。

## 资料来源

- [OpenAI developer forum: New AI classifier for indicating AI-written text](https://community.openai.com/t/new-ai-classifier-for-indicating-ai-written-text/46532) (2026-11-06 查阅)
- [Hugging Face: roberta-base-openai-detector (OpenAI's GPT-2 output detector)](https://huggingface.co/openai-community/roberta-base-openai-detector) (2026-11-06 查阅)
- [Hugging Face Papers: GPT detectors are biased against non-native English writers](https://huggingface.co/papers/2304.02819) (2026-11-06 查阅)
- [Hugging Face Papers: RAID benchmark of machine-generated text detectors](https://huggingface.co/papers/2405.07940) (2026-11-06 查阅)
- [Hugging Face Papers: A Watermark for Large Language Models](https://huggingface.co/papers/2301.10226) (2026-11-06 查阅)
- [Hugging Face blog: Introducing SynthID Text](https://huggingface.co/blog/synthid-text) (2026-11-06 查阅)
- [Wikipedia: Signs of AI writing](https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing) (2026-11-06 查阅)
- [Anthropic: AI Fluency key terminology cheat sheet](https://www-cdn.anthropic.com/4396730ed190e691a3712cf2fd6bfe35509deca2.pdf) (2026-11-06 查阅)
- [Turnitin on YouTube: Understanding false positives within Turnitin's AI writing detection capabilities](https://www.youtube.com/watch?v=4e9zM2MZvRQ) (2026-11-06 查阅)

[浏览课程](https://mindket.com/cn/learn)