Mindket
简体中文
English简体中文
登录注册
商店MCP技能计算器学习价格博客
发现
研究308写作59商务95法律13财务33营销172开发1,379效率382教育81陪伴14
帮助与支持
语言
English简体中文
用 AI 写作：起草、修改，写出像你自己的文字第 4 节，共 4 节

AI 检测器有用吗？误判、水印，以及该怎么做

Mindket 编辑部 · 发布于 · 阅读约 9 分钟

黑色横幅，标题是“用 AI 写作”，下面是“起草、修改，写出像你自己的文字”。

不要把检测器的分数当作一段文字是谁写的证据。OpenAI 关于它的 GPT-2 检测器的说明，称其准确率不足以单独用来做检测，论坛里转引的一则通知，则说后来的一个分类器在 2023 年 7 月因准确率低被撤下。2023 年斯坦福的一项研究发现，七个检测器把非英语母语者的作文判成 AI 写的，平均误判率是 61.22%。分数只能当作提问的理由。

本节内容

  • 不要把检测器的分数，当作一段文字是谁写的证据，不管是接受还是出具。
  • 改为索要过程：笔记、提纲、草稿，以及对各项选择的解释。
  • 如果你是写作者，留好草稿和笔记，并在读者需要知道的时候，说明 AI 在哪里帮了忙。
  • 信任任何检测器之前，先拿一段你知道来源的文字去试，比如 2022 年 11 月之前写的一段。
全部课程
本页目录
  1. 开始之前
  2. OpenAI 做过一个分类器，后来又撤下了
  3. OpenAI 更早的检测器，说的是同一件事
  4. 谁最容易被标出来：非英语母语的写作者
  5. 一次十二个检测器的基准测试
  6. 水印是另一种思路，也有自己的局限
  7. 一家检测器厂商谈误判
  8. 不看分数，该要求什么
  9. 如果你是写作者
  10. 常见错误
  11. 自己试一试
  12. 下一门课：AI 连接器
  13. 自测一下
  14. 常见问题
  15. 资料来源

开始之前

AI 检测器是一种程序，它给一段文字打分，估计这段文字有多大可能是 AI 写的。检测器有两类。分类器从人写和 AI 写的文字样例里学习规律，再判断一段新文字更像哪一种。水印检查器则寻找模型在写作时加进去的、隐藏的统计规律。

有两个词会反复出现。误判是指检测器把人写的文字标成了 AI 写的。正确识别是指它把 AI 写的文字正确地标了出来。靠多标人写的文字来多抓一些 AI 文字，是一种取舍，不是进步。

这一课读的，是 OpenAI 自己关于两种检测器的说明、三项已发表的研究，以及谷歌 DeepMind 和 Hugging Face 的一篇文章。它不教你怎样骗过检测器。这门课追求的，是具体、读起来像你的文字，上一课讲的那些特征，针对的是读者，不是分数。

OpenAI 做过一个分类器，后来又撤下了

2023 年 2 月，OpenAI 宣布推出一个免费的分类器，用来区分 AI 写的和人写的文字。OpenAI 自己的发布页，在准备这一课时打不开，所以下面的数字，取自一位读者在 OpenAI 的开发者论坛里，于 2023 年 7 月 26 日转贴的 OpenAI 原话。

OpenAI 称这个分类器“not fully reliable”，也就是并不完全可靠。在一组英文文本的挑战集上，它把 26% 的 AI 文字标成了“可能是 AI 写的”，同时把 9% 的人写文字错标成了 AI 写的。OpenAI 还补充说，输入的文字越长，可靠性通常越高。

不到半年，它就下线了。据那位读者转引的通知，截至 2023 年 7 月 20 日，这个分类器因准确率低而不再提供。通知还说，OpenAI 正在研究更有效的文本溯源技术，也就是证明一段文字从哪里来的办法。

OpenAI 的分类器在它自己的挑战集上的成绩，取自 OpenAI 论坛里的转引

26%

的 AI 写的英文文字，被标成“可能是 AI 写的”

来源：OpenAI developer forum: New AI classifier for indicating AI-written text (2026年11月6日 查阅)

9%

的人写文字，被错标成 AI 写的

来源：OpenAI developer forum: New AI classifier for indicating AI-written text (2026年11月6日 查阅)

分类器在 OpenAI 开发者论坛里的经过

  1. 宣布推出

    Logan Kilpatrick 发的一个帖子写道：“We're launching a classifier trained to distinguish between AI-written and human-written text.”（我们推出了一个分类器，用来区分 AI 写的和人写的文字。）

  2. 不再提供

    论坛里转引的通知说，这个分类器因为准确率低而撤下。

来源：OpenAI developer forum: New AI classifier for indicating AI-written text (2026年11月6日 查阅)

OpenAI 更早的检测器，说的是同一件事

OpenAI 之前还发布过一个检测器，针对的是较早的模型 GPT-2 写出的文字。它放在 Hugging Face 上，名字是 roberta-base-openai-detector。它的模型卡引用了 OpenAI 的研究：对于 15 亿参数的 GPT-2 写出的文字，检测率约为 95%，并说对更大的模型写出的文字，分类更难。

对于较新的工具，模型卡的话说得很直白。它强烈建议，不要把这个模型当作 ChatGPT 检测器，去对本科生或其他人做出学术不端的严重指控，因为它对 ChatGPT 写出的文字，可能给出不准确的结果。

我们认为这样的准确率还不够高，不能单独用来做检测，需要和基于元数据的办法、人的判断和公众教育结合起来，才会更有效。

OpenAI, 这段话引在它的 GPT-2 检测器的模型卡上 · Hugging Face 模型卡：roberta-base-openai-detector (2026年11月6日 查阅)

谁最容易被标出来：非英语母语的写作者

2023 年，斯坦福有一项研究，论文题为 GPT detectors are biased against non-native English writers。它让七个检测器读了 91 篇托福作文，也就是非英语母语者写的作文，还有 88 篇美国八年级学生的作文。检测器一贯把非母语者的作文标成 AI 生成的，而对母语者的作文，却能准确识别。

在托福作文上，平均误判率是 61.22%。91 篇里，七个检测器一致标出的有 18 篇，至少有一个检测器标出的有 89 篇。研究者让 ChatGPT 把同样这些作文的用词改得更好之后，平均误判率降到了 11.77%，七个检测器一致标出的只剩 1 篇。

作者认为，这说明检测器可能会惩罚语言表达范围有限的写作者，因为简单的提示词既减小了偏差，也绕过了检测器。他们提醒，不要在评价或教育场合使用这些检测器。

斯坦福的研究：91 篇非英语母语者写的托福作文，七个检测器每一条柱子，是占这些作文的比例，或者平均误判率。
  • 平均误判率61.22%
  • 至少一个检测器标出97.8%
  • 七个检测器一致标出19.78%
  • ChatGPT 改好用词之后的平均误判率11.77%

来源：Hugging Face Papers: GPT detectors are biased against non-native English writers (2026年11月6日 查阅)

一次十二个检测器的基准测试

RAID 是 2024 年发表的一个基准测试，目的是让检测器面对的不只是容易的情形。作者写道，很多商用和开源的检测器都宣称准确率达 99% 或更高，却很少拿到共同的基准上检验。RAID 的页面报告了它的发现。

数字取自 Hugging Face 上 RAID 论文的页面，2026 年 11 月 6 日阅读。
RAID 改变或测量了什么它发现了什么
规模超过 600 万条生成文本，来自 11 个模型、8 个领域，加上 11 种对抗性攻击和 4 种解码策略，用 12 个检测器来打分：8 个开源的，4 个闭源的。
默认阈值下的开源检测器作者说，它们的误判率“dangerously high”，也就是高得危险。
闭源检测器在测试的阈值下，误判率没有一个超过 1.7%。作者建议在使用之前，用同领域的数据校准检测器。
重复惩罚它让所有检测器的准确率都下降，最多下降 32 个百分点，不管用哪种解码策略。
检测器没训练过的模型一个用 GPT-2 文字训练的 RoBERTa 检测器，在五个领域的 GPT-2 输出上得分在 95% 以上，而在同样领域里别的模型写出的文字上，很少超过 60%。

水印是另一种思路，也有自己的局限

水印是在模型写作的时候加进去的，不是事后猜出来的。在其中一种方法里，前一个词决定怎样把词表随机分成绿名单和红名单，模型会被推着多选绿名单里的词。检查器再数一段文字里有多少绿名单的词。自然的文字，落在偶然水平附近，带水印的文字，则远高于这个水平。

下面两种方法，都要靠模型的制造方。只有工具加了水印，才会有水印，而且检查器要和那个工具的设置对得上，所以对一个没有加水印的工具写出的文字，水印检查什么也说明不了。

词元是一个词，或者一个词的一部分。数字和局限，都照各个来源的说法，2026 年 11 月 6 日阅读。
方法来源报告了什么来源说明的局限
A Watermark for Large Language Models，马里兰大学，2023 年z 分数超过 4 时，误判率约为十万分之三。在论文自己的测试里，约 500 条生成文本中有 98.4% 在这个阈值（约 128 个词元）处被检测出来，用的是多项式采样。所用模型是 OPT-1.3B，每段文字 200 个词元，提示取自新闻类文本，水印是带两个设定参数的软水印。摘要说，最少 25 个词元就可能检测。要从一段长文字里去掉水印，需要改动大约四分之一或更多的词元，这是论文对它的硬规则的分析。这个分析假设攻击者知道水印的做法，并且把每一个改动的词元都选得破坏力最大。
SynthID Text，谷歌 DeepMind 和 Hugging Face，2024 年 10 月 23 日能经受裁剪、改动几个词和轻度改写。每一种水印设置，都需要自己训练的检测器，推荐至少有 1 万个样例。对事实性的回答效果较差。文字被彻底改写或翻译之后，检测的置信度可能下降。它不是为了直接阻止有动机的攻击者而设计的。

一家检测器厂商谈误判

Turnitin 的 YouTube 频道上有一段视频，标题是“Understanding false positives within Turnitin's AI writing detection capabilities”。从标题看，误判是检测器厂商自己也要出面说明的话题。这一课不转述视频里说了什么，也不取用其中的任何数字。

Turnitin 频道在 YouTube 上的视频：Understanding false positives within Turnitin's AI writing detection capabilities。

不看分数，该要求什么

维基百科的 Signs of AI writing 告诉它的编辑，不要只依赖 GPTZero 和 Pangram 这类检测工具。它说这些工具的表现比随机猜测好，错误率却不低，而且改写、标记和空格的改动，以及检测器训练时没见过的模型，都可能让它们出错。

  1. 要看过程：笔记、提纲和草稿的修改历史。
  2. 请写作者解释一个选择，比如为什么引用某个来源，或者为什么某句话要这样说。指南把能解释自己的编辑选择，列为人写文字的特征之一。
  3. 核对文字里的名字、数字和链接。对一个看起来是编造的链接，指南建议先问问这个差错是怎么发生的，不要急着下结论。
  4. 如果你还是要用检测器，先拿一段你确定是自己写的文字试一试，并把分数当作一个信号来读。RAID 的作者建议在使用之前，用同领域的数据校准检测器。

如果你是写作者

Anthropic 的 AI Fluency 速查表把“透明尽责”（Transparency Diligence）定义为“Being honest about AI's role in your work with everyone who needs to know”。意思是对所有需要知道的人，如实说明 AI 在你的工作中起了什么作用。

  • 留好你的笔记、提纲和草稿。它们能显示这段文字是怎么长出来的，这一点是检测分数给不了的。
  • 读者需要知道的时候，就告诉他们 AI 在哪里帮了忙，写之前也先弄清学校或雇主的规定。
  • 如果有人拿分数来对付你，就问是哪个工具给出的，阈值是多少，工具自己的文档怎么说。再把你的草稿和笔记拿出来。

常见错误

  • 把分数当作证据。OpenAI 论坛里转引的一则通知说，它因准确率低撤下了自己的分类器，它的 GPT-2 检测器的模型卡，也引用了 OpenAI 的话，说自己的检出率不足以单独用来做检测。
  • 只信一个检测器。在斯坦福的研究里，检测器之间分歧很大：大约五分之一的托福作文被七个检测器一致标出，而几乎所有作文，都至少被一个检测器标出。
  • 拿老检测器去查新模型。RAID 里那个用 GPT-2 文字训练的 RoBERTa 检测器，对别的模型写出的文字，很少超过 60%。
  • 凭分数评判非英语母语者的作文。斯坦福的研究发现，被检测器标出来的，正是这些作文。
  • 改写只是为了让分数变动。上一课的改法针对的是读者，分数可以变，文字却不见得变得更具体。

自己试一试

  • 挑一段你在 2022 年 11 月 30 日（ChatGPT 发布的日子）之前写的文字。维基百科的指南说，如果一次编辑是在这个日期之前做的，对应的文字可以放心地排除使用过 AI。
  • 把它放进一个你能找到的免费检测器，记下分数和工具的名字。如果工具把你自己的旧文字判成 AI 写的，你就亲身遇到了一次误判。
  • 把你自己借助 AI 写出的草稿里的一段，放进同一个工具，对比两个分数。
  • 写下三样东西：如果只有一个分数可看，你会向写作者索要什么。

下一门课：AI 连接器

现在你有了一套完整的写作流程：从自己的笔记起草，改稿时保住自己的口吻，改掉那些特征，也能回答关于检测器的问题。下一门课是 AI 连接器，从 ChatGPT 的应用和连接器讲起，包括怎样把其中一个打开。

自测一下

  1. OpenAI 为什么在 2023 年 7 月撤下了它的 AI 文字分类器？

    查看答案

    A. OpenAI 论坛里转引的通知说它因准确率低而不再提供 论坛里那位读者转引的通知，给出的理由是准确率低。

  2. 在斯坦福的研究里，非英语母语者的作文，平均误判率是多少？

    查看答案

    D. 61.22% 七个检测器在 91 篇托福作文上平均误判率是 61.22%。19.78% 是七个检测器一致标出的比例，97.80% 是至少一个检测器标出的比例。

  3. 按 SynthID Text 那篇文章，水印检查需要什么？

    查看答案

    B. 为每一种水印设置训练好的检测器 文章说，每一种水印配置，都需要自己训练的检测器。

  4. 检测器把一位学生的作文标成了 AI 写的。维基百科的指南建议怎么做？

    查看答案

    C. 不要只依赖这个工具，因为它的错误率不低，并请写作者解释自己的选择 指南告诉它的编辑不要只依赖检测器，并把能解释自己的选择，列为人写文字的特征之一。

常见问题

AI 检测器有用吗？

它们给出的是一个分数，本课用到的来源都说不要只靠它：维基百科的指南说，检测工具的错误率不低。上面讲误判和讲 RAID 基准测试的两节，给出了具体的数字。

OpenAI 为什么关掉了它的 AI 检测器？

因为准确率低。OpenAI 论坛里转引的一则通知说，截至 2023 年 7 月 20 日，这个分类器因此不再提供，并说 OpenAI 正在研究怎样证明一段文字从哪里来。

AI 检测器会把人写的文字标成 AI 写的吗？

会，这就叫误判。在 OpenAI 描述的那组挑战集上（论坛里转引的数字），它的分类器把 9% 的人写文字当成了 AI 写的。在斯坦福的研究里，检测器把一半以上的非英语母语者作文标成了 AI 写的。

AI 水印是什么？

是模型写作时嵌进文字里的一种信号，只有对应的检查器才读得出来。2023 年马里兰大学论文里的绿名单方法，和谷歌 DeepMind 的 SynthID Text，是其中两种。工具只有在制造方加了水印的情况下，才带有水印。

老师能证明我用了 ChatGPT 吗？

光凭分数不行。维基百科的指南说，检测器的错误率不低，并告诉编辑不要只依赖它们。草稿、笔记和对你各项选择的解释，是更好的证据。

我该先把自己的文章放进 AI 检测器查一查吗？

它能让你看到某一个工具的反应，但分数不是裁决。检测器彼此之间也意见不一：在斯坦福的研究里，大约五分之一的作文被七个检测器一致标出，几乎所有作文都至少被一个检测器标出。还是留好你的草稿和笔记吧。

资料来源

  1. OpenAI developer forum: New AI classifier for indicating AI-written text (2026年11月6日 查阅)https://community.openai.com/t/new-ai-classifier-for-indicating-ai-written-text/46532
  2. Hugging Face: roberta-base-openai-detector (OpenAI's GPT-2 output detector) (2026年11月6日 查阅)https://huggingface.co/openai-community/roberta-base-openai-detector
  3. Hugging Face Papers: GPT detectors are biased against non-native English writers (2026年11月6日 查阅)https://huggingface.co/papers/2304.02819
  4. Hugging Face Papers: RAID benchmark of machine-generated text detectors (2026年11月6日 查阅)https://huggingface.co/papers/2405.07940
  5. Hugging Face Papers: A Watermark for Large Language Models (2026年11月6日 查阅)https://huggingface.co/papers/2301.10226
  6. Hugging Face blog: Introducing SynthID Text (2026年11月6日 查阅)https://huggingface.co/blog/synthid-text
  7. Wikipedia: Signs of AI writing (2026年11月6日 查阅)https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
  8. Anthropic: AI Fluency key terminology cheat sheet (2026年11月6日 查阅)https://www-cdn.anthropic.com/4396730ed190e691a3712cf2fd6bfe35509deca2.pdf
  9. Turnitin on YouTube: Understanding false positives within Turnitin's AI writing detection capabilities (2026年11月6日 查阅)https://www.youtube.com/watch?v=4e9zM2MZvRQ

分享本节课

挑选你的下一门课

Mindket 学习频道按主题和难度列出了每一门课，每门课都可以免费阅读。

浏览课程

本节课的 Markdown 版本 · 用 AI 写作：起草、修改，写出像你自己的文字 · 全部课程