适合谁
适合上线大模型应用或 AI 智能体的开发者,也适合审查它们的安全和产品人员。你需要能读 YAML 文件、会运行命令行。第 4 课里,Promptfoo 需要 Node.js 22.22.0 或更新的版本,garak 和 PyRIT 需要 Python,PyRIT 要求 3.11 到 3.14。
课程内容
- 1提示词注入:直接与间接攻击,以及限制危害的设计提示词注入把指令藏在 AI 读取的文字里。看直接和间接两类攻击,为什么没有哪个过滤器能全部拦下,以及怎样设计才能把损失限制在小范围。
- 2大模型越狱与系统提示词泄露:它们是什么,什么能挡住它们越狱攻击模型的安全规则,注入攻击你的应用,泄露暴露隐藏的提示词。看三者各自怎么发生,以及该防什么。
- 3大模型应用的 OWASP 十大风险:每项一句话,附第一个修复办法OWASP 大模型应用十大风险 2026 版:用一句大白话讲清每一项风险和它的第一个修复办法,再教你把这份清单变成自己应用的检查表。
- 4对你自己的大模型应用做红队测试:Promptfoo、garak 与 PyRIT,测什么,怎么读结果在别人动手之前,先攻击你自己的大模型应用。设置 Promptfoo,看 garak 和 PyRIT 的命令,选好测什么,再读懂结果。
常见问题
这门 AI 安全课程免费吗?
免费。每一课都可以免费阅读。第 4 课里运行扫描会调用模型 API,这些服务商可能会收费。
什么是提示词注入?
提示词注入,是让模型去执行开发者并不想让它执行的指令的一段文字,常常藏在模型为完成任务而读取的网页、邮件或文件里。第 1 课给出真实的例子,以及能限制损失的设计。
学这门课需要安全方面的背景吗?
不需要。每一课都在第一次用到术语的地方给出解释。你需要能轻松地读配置文件、运行命令。
这门课会教人去攻击别人的系统吗?
不会。课程只在厂商自己文章的层面上描述各类攻击,没有写出任何可用的越狱办法。第 4 课测试的是你自己的应用,并建议使用一份预发布副本。
第 3 课讲的是哪一版 OWASP 清单?
2026 年版,发布于 2026 年 8 月 4 日。OWASP 把 2025 年版列为已归档,课里会讲两版之间的编号是怎么变的。
学完这门课,接下来学什么?
下一门是 AI 评估课。它的第一课会用真实的失败案例建出测试集,同样的做法也能把一次红队测试的发现,变成每次改动都能运行的测试。
