适合谁
适合上线大模型应用或 AI 智能体的开发者和产品人员。第 1 到 3 课需要 Python 3，第 4 课的 promptfoo 需要 Node.js 22.22.0 或更新的版本，还需要被测模型和评委模型的 API 密钥。
课程内容
- 1什么是大模型评估：用真实失败建第一个测试集大模型评估是什么、怎样起步：读真实的运行记录，把失败变成第一个测试集，再为每项检查选代码评分或模型评分。
- 2LLM 评委：一个只判通过与否、并经过人工核对的评委提示词怎样让大模型当评委：写一个只判通过或不通过的评委提示词，测量它和人工判断的一致程度，并避开位置偏差和长度偏差。
- 3如何评估 AI 智能体：最终状态、多次试验与运行轨迹如何评估 AI 智能体：给任务定下代码能检查的最终状态，每个任务跑多次并用 pass@k 或 pass^k 汇总，再给运行轨迹评分、亲手读运行记录。
- 4CI 中的评估：用 GitHub Actions 在每个拉取请求上跑大模型评估在每个拉取请求上跑大模型评估：仓库里放一份 promptfoo 配置，用它的 GitHub Action 运行，设通过率门槛，给不稳定的评分器加重复，再用缓存省调用。
常见问题
这门 AI 评估课程免费吗？
免费。每一课都可以免费阅读。跑评估会调用模型 API，这些服务商可能会收费。
AI 里的评估是什么？
评估就是给 AI 系统做的测试：一个输入、一种给输出打分的方法，以及一个长期跟踪的分数。它告诉你对提示词、模型或工具的改动是让结果变好还是变差。
LLM 评委可靠吗？
要先检查过才可靠。第 2 课会让你把评委的判断和人工标注对比，并修改它的提示词直到两者一致，因为评委也会以自己的方式出错。
这门课和 RAG 评估那一课有什么不同？
RAG 那一课用 Ragas 给检索和答案打分。这门课讲任何大模型应用或智能体的评估，包括多步骤的智能体，以及在 CI 里运行的评估。
学完这门课，接下来学什么？
下一门是 n8n 课。它的第一课会做出一个按时运行、记录天气的四节点工作流，第三课再加上 AI Agent 节点，测过的提示词可以在那里运行。