Mindket
高级免费

AI 安全:提示词注入、越狱与红队测试

黑色横幅,标题是“AI 安全”,下面是“提示词注入、越狱与红队测试”。

这门免费的 AI 安全课程共四课,适合开发大模型应用或智能体的人。你会学到提示词注入和越狱是怎么回事,为什么没有哪个过滤器能全部拦下,以及哪些设计能限制损失。然后把大模型应用的 OWASP 十大风险过一遍,并用 Promptfoo、garak 和 PyRIT 对自己的应用做红队测试。

学完你能做到

  • 分清直接和间接的提示词注入,并画出不可信文字进入你自己应用的路径。
  • 说清越狱与注入、与系统提示词泄露有什么区别,以及哪些东西绝不该写进系统提示词。
  • 把大模型应用的 OWASP 十大风险当作应用的检查表,并为每项风险找到第一个修复办法。
  • 用 Promptfoo 对应用做红队测试,并读懂 garak 和 PyRIT 扫描的结果。
全部课程

适合谁

适合上线大模型应用或 AI 智能体的开发者,也适合审查它们的安全和产品人员。你需要能读 YAML 文件、会运行命令行。第 4 课里,Promptfoo 需要 Node.js 22.22.0 或更新的版本,garak 和 PyRIT 需要 Python,PyRIT 要求 3.11 到 3.14。

课程内容

  1. 1提示词注入:直接与间接攻击,以及限制危害的设计提示词注入把指令藏在 AI 读取的文字里。看直接和间接两类攻击,为什么没有哪个过滤器能全部拦下,以及怎样设计才能把损失限制在小范围。8 分钟
  2. 2大模型越狱与系统提示词泄露:它们是什么,什么能挡住它们越狱攻击模型的安全规则,注入攻击你的应用,泄露暴露隐藏的提示词。看三者各自怎么发生,以及该防什么。9 分钟
  3. 3大模型应用的 OWASP 十大风险:每项一句话,附第一个修复办法OWASP 大模型应用十大风险 2026 版:用一句大白话讲清每一项风险和它的第一个修复办法,再教你把这份清单变成自己应用的检查表。7 分钟
  4. 4对你自己的大模型应用做红队测试:Promptfoo、garak 与 PyRIT,测什么,怎么读结果在别人动手之前,先攻击你自己的大模型应用。设置 Promptfoo,看 garak 和 PyRIT 的命令,选好测什么,再读懂结果。8 分钟

常见问题

这门 AI 安全课程免费吗?

免费。每一课都可以免费阅读。第 4 课里运行扫描会调用模型 API,这些服务商可能会收费。

什么是提示词注入?

提示词注入,是让模型去执行开发者并不想让它执行的指令的一段文字,常常藏在模型为完成任务而读取的网页、邮件或文件里。第 1 课给出真实的例子,以及能限制损失的设计。

学这门课需要安全方面的背景吗?

不需要。每一课都在第一次用到术语的地方给出解释。你需要能轻松地读配置文件、运行命令。

这门课会教人去攻击别人的系统吗?

不会。课程只在厂商自己文章的层面上描述各类攻击,没有写出任何可用的越狱办法。第 4 课测试的是你自己的应用,并建议使用一份预发布副本。

第 3 课讲的是哪一版 OWASP 清单?

2026 年版,发布于 2026 年 8 月 4 日。OWASP 把 2025 年版列为已归档,课里会讲两版之间的编号是怎么变的。

学完这门课,接下来学什么?

下一门是 AI 评估课。它的第一课会用真实的失败案例建出测试集,同样的做法也能把一次红队测试的发现,变成每次改动都能运行的测试。

分享这门课

连接 MCP 服务器之前,先检查一遍

工具描述是模型会读的文字,所以它们也能带指令。安装服务器之前,先读一读该做哪些检查。

MCP 服务器安全吗?

全部课程 · 全部文章