LLM Course 大语言模型课程

LLM Course：安装说明

这个工具包里只有安装说明，由 Mindket 编写。课程本身、它的图片和它的链接都在 Maxime Labonne 的仓库里：https://github.com/mlabonne/llm-course

这些说明不是他写的，也没有得到他的认可。README 把这个项目叫作“LLM Course”，仓库的描述写的是“Course to get into Large Language Models (LLMs) with roadmaps and Colab notebooks.”，意思是：带有路线图和 Colab 笔记本、帮你入门大语言模型的课程。这些说明依据 2026 年 11 月 3 日读到的 README 和仓库页面写成。

许可证：Apache-2.0，仓库的许可证字段和它的 LICENSE 文件（https://github.com/mlabonne/llm-course/blob/main/LICENSE）都这么写。LICENSE 文件是标准的 Apache 2.0 文本，附录里仍然是“Copyright [yyyy] [name of copyright owner]”，所以没有写明版权持有人。README 链接的、别人写的页面和视频归各自的所有者，README 的免责声明写着“I am not affiliated with any sources listed here.”，意思是：我和这里列出的任何来源都没有关联。

这门课是什么

仓库里有三项内容：README.md、一个 LICENSE 文件和一个 img 文件夹（仓库页面，2026 年 11 月 3 日）。README 就是课程本身。它说课程分为三个部分：

1. LLM Fundamentals 是可选的，讲数学、Python 和神经网络。
2. The LLM Scientist 专注于用最新技术做出尽可能好的 LLM。
3. The LLM Engineer 专注于做出基于 LLM 的应用并把它们部署出去。

每个部分都有一张路线图。每个部分里的小节都有一小段介绍、加粗的主题，以及一份参考资料清单（文章、视频、论文、仓库），每一项附一句说明。靠近顶部的“Notebooks”部分列出了作者写的笔记本和文章，带有 Open In Colab 按钮。README 说这门 LLM 课程会一直免费，还说作者合著了《LLM Engineer's Handbook》，一本以这门课为基础的书。来源：https://github.com/mlabonne/llm-course/blob/main/README.md

各个小节

读自 2026 年 11 月 3 日的 README。Fundamentals 的几个小节放在 GitHub 默认收起的折叠块里，README 说你可能不想从这里开始，需要时再回来查。

LLM Fundamentals（可选）

| # | 小节 | README 列出的主题 |
|---|---|---|
| 1 | Mathematics for Machine Learning | 线性代数、微积分、概率与统计 |
| 2 | Python for Machine Learning | Python 基础、数据科学库、数据预处理、机器学习库 |
| 3 | Neural Networks | 基础、训练与优化、过拟合、实现多层感知机 |
| 4 | Natural Language Processing (NLP) | 文本预处理、特征提取方法、词嵌入、循环神经网络 |

The LLM Scientist

| # | 小节 | README 列出的主题 |
|---|---|---|
| 1 | The LLM Architecture | 架构概览、分词、注意力机制、采样方法 |
| 2 | Pre-Training Models | 数据准备、分布式训练、训练优化、监控 |
| 3 | Post-Training Datasets | 存储与对话模板、合成数据生成、数据增强、质量过滤 |
| 4 | Supervised Fine-Tuning | 训练方法、训练参数、分布式训练、监控 |
| 5 | Preference Alignment | 拒绝采样、直接偏好优化、奖励模型、强化学习 |
| 6 | Evaluation | 自动基准测试、人工评估、基于模型的评估、反馈信号 |
| 7 | Quantization | 基础方法、GGUF 和 llama.cpp、GPTQ 和 AWQ、SmoothQuant 和 ZeroQuant |
| 8 | New Trends | 模型合并、多模态模型、可解释性、测试时计算 |

The LLM Engineer

| # | 小节 | README 列出的主题 |
|---|---|---|
| 1 | Running LLMs | LLM API、开源 LLM、提示工程、结构化输出 |
| 2 | Building a Vector Storage | 导入文档、切分文档、嵌入模型、向量数据库 |
| 3 | Retrieval Augmented Generation | 编排器、检索器、记忆、评估 |
| 4 | Advanced RAG | 查询构造、工具、后处理、用程序驱动 LLM |
| 5 | Agents | 智能体基础、智能体协议、厂商框架、其他框架 |
| 6 | Inference optimization | Flash Attention、键值缓存、推测解码 |
| 7 | Deploying LLMs | 本地部署、演示部署、服务器部署、边缘部署 |
| 8 | Securing LLMs | 提示攻击、后门、防御措施 |

阅读方式

• setup/github.md：在 GitHub 上读 README，或者克隆仓库。
• setup/google-colab.md：微调、量化和其他笔记本，每个都有它的 Colab 链接，README 给了文章的也附上文章。
• setup/tool-notebooks.md：八个工具笔记本，其中两个提到了 RunPod 和免费的 ZeroGPU。
• setup/more-from-the-author.md：DeepWiki 页面、那本书、博客，以及 README 指向的其他地方。

事先需要准备

• 要读：一个网页浏览器。README 就是 GitHub 上的一个页面。
• 要克隆：Git。克隆地址在 setup/github.md 里。
• 要用笔记本：Open In Colab 按钮会在 Google Colab 里打开它们。README 除了链接没有给别的步骤，Mindket 也没有打开过这些笔记本。
• 仓库里没有什么要安装或在你电脑上运行的东西。README 里没有安装或运行命令。

要知道的事

• README 给每个小节配了一小段话和一份参考资料清单。你学到的大部分内容来自它链接的页面、视频和笔记本，各自适用各自所有者的条款。
• README 没给笔记本的价格。有一行笔记本说它能在 Google Colab 的免费档里用，另一行说它用到 RunPod。
• LazyMergekit 和 Create MoEs with MergeKit 这两行在 README 里用的是同一个 Colab 链接。
• Mindket 访问 README 指向的 DeepWiki 页面时，请求被一个安全检查页面（HTTP 429）拦下了，日期是 2026 年 11 月 3 日，所以没有读到它。
• 要卸载，删掉克隆的文件夹就行，没有装别的东西。

来源

• README：https://github.com/mlabonne/llm-course/blob/main/README.md
• LICENSE：https://github.com/mlabonne/llm-course/blob/main/LICENSE
• 仓库页面和它的 GitHub API 回答（许可证、克隆地址）：https://github.com/mlabonne/llm-course 和 https://api.github.com/repos/mlabonne/llm-course