开始之前
打开一个笔记文件，写两行字。第一行是任务，比如“概括 20 页的 PDF”或者“回答关于客服工单的问题”。第二行是你的上限：你电脑的内存（怎样查看，硬件那一课里有），或者你能用的服务器。
下面的模型名字，是 2026 年 11 月 6 日各模型卡上用的名字。各家每隔几个月就会发布新版本，所以把它们当作例子，现在的版本以发布者的页面为准。
分六步选一个模型
每一步都会淘汰一批候选，让你把测试的时间花在两个模型上。第 5 步怎样给答案打分，评测那一课里有。
- 用一句话写下任务，并写上你会给它的最长输入。“概括一份 40 页的 PDF”，比“聊天”说明的信息多得多。
- 在 Hugging Face 上筛选。Hub 可以按许可证筛选模型，标签
library=gguf会列出以 GGUF 文件保存的模型，Ollama 可以直接从 Hugging Face 拉取这种格式。 - 打开每张模型卡，记下四样东西：总参数、活跃参数、上下文窗口和许可证。第 2 课讲了怎样读许可证。
- 先按总参数估算权重要用的内存，再给上下文留出空间。算法在硬件那一课里，把它缩小的量化则在第 4 课。
- 写五条出自你自己工作的提示词，其中一条要刁钻或者很长。在放得下的两个模型上各跑一遍，两边的设置保持一致。
- 选能完成任务的那个小一点的模型，写下它的名字、版本和日期。更大的那个，等某条提示词失败了再说。
总参数决定内存，活跃参数决定速度
下面图表里的七个模型，有六个是混合专家模型。Hugging Face 的那篇介绍文章说，稀疏层取代了稠密层，由一个路由器决定每个 token 交给哪位专家。token 是模型读写的单位，大致是一个词的片段。
代价是内存。文章说，Mixtral 8x7B 需要足够容纳一个 47B 稠密模型的显存，运行起来的计算量却和一个 12B 模型相当。每位专家都要加载，所以内存居高不下，而每个 token 的计算量降了下来。
模型卡会写出这两个数。Gemma 4 26B A4B 共 25.2B 参数，每个 token 用 3.8B，它的模型卡说它跑起来几乎和 4B 模型一样快。Qwen3.8-27B 是稠密模型，意思是 27B 参数在每个 token 上都参与计算。
内存按总参数来规划，速度按活跃参数来预期。Llama 4 Scout 要给 109B 参数留出空间，每个 token 却只用 17B 计算，比 Qwen3.8-27B 这样的稠密模型每次用的 27B 还少。活跃参数少，不代表下载的文件小。
来源：Hugging Face：openai/gpt-oss-20b 模型卡 (2026年11月6日 查阅)；Hugging Face：google/gemma-4-26B-A4B-it 模型卡 (2026年11月6日 查阅)；Hugging Face：deepseek-ai/DeepSeek-V4.1-Flash 模型卡 (2026年11月6日 查阅)；GitHub：Meta Llama 4 模型卡 (2026年11月6日 查阅)；Hugging Face：Qwen/Qwen3.8-27B 模型卡 (2026年11月6日 查阅)；Hugging Face：mistralai/Mistral-Large-4-1T-A52B 模型卡 (2026年11月6日 查阅)
把上下文长度当作上限来读
上下文长度，是模型一次能装下的 token 数量，包括你的提示词、你加进去的文档和它自己的回答。下表列出了 2026 年 11 月 6 日五张模型卡写明的数字。
大数字是上限，不是承诺。装下很长的上下文，除了权重还要占用内存，而准确率可能在窗口装满很久之前就开始下降。上下文腐化那一课测量过这种下降，所以请用你的任务里真实会出现的最长输入去测。
| 模型 | 模型卡上的上下文长度 | 备注 |
|---|---|---|
| Qwen3.8-27B | 262,144 token | 原生长度，卡上写明可以扩展到 1,000,000。 |
| Gemma 4 12B | 256K token | E2B 和 E4B 两个尺寸写的是 128K。 |
| DeepSeek-V4.1-Flash | 1M token | 卡上写明支持最长一百万 token 的上下文。 |
| Mistral Large 4 | 1M token | 卡上写的是 1M 上下文长度。 |
| Llama 4 Scout | 10M token | Llama 4 Maverick 写的是 1M。 |
名次只是候选名单，不是结论
Hugging Face 在 2025 年 3 月 13 日停办了它的 Open LLM Leaderboard，两年里它评测了超过 13K 个模型。公告里写了原因，见下面的引文。
同一篇公告还说，Hugging Face 上已有 200 多个由社区运营的排行榜，所以排名仍然可以用来找候选，只是要弄清每一个测的是哪种任务。模型卡的局限相同，因为展示哪些基准由发布者自己挑。Mistral Large 4 的模型卡引用了 Artificial Analysis 的编程智能体指数，它在上面得 48%，与 GLM-5.3 持平，还引用了智能指数 v5，得 26。这些是 Mistral 自己选的测试上的成绩，是否贴合你的任务，要你自己去验证。
我们觉得它可能会让人朝着这个领域里无关紧要的方向去“爬坡”。
常见错误
- 按活跃参数去估内存。每位专家的权重都要加载，所以必须放得下的是总参数。
- 只用短提示词测试。一个能处理一段话的模型，面对 40 页的输入，照样可能丢掉一个事实。
- 迷信最大的上下文数字。Meta 给 Scout 写的是 10M token，而模型卡上的任何数字，都说明不了模型用好长输入的程度。
- 一次改两样东西。给两个模型同样的提示词和同样的设置，差别才来自模型本身。
- 没读许可证就先选。在你的测试中胜出的模型，仍可能是你没有权利使用的，第 2 课里有那五个问题。
自己动手试试
- 用两行字写下任务，和你电脑的内存有多大。
- 打开 Qwen3.8-27B 和 Gemma 4 26B A4B 的模型卡，记下各自的总参数、活跃参数、上下文长度和许可证。
- 用硬件那一课的算法，看看这两个模型哪个放得进你的内存。
- 把你以前发给聊天机器人的五条提示词收集起来，存进一个文件，因为第 4 课会请你用它们去测一个量化文件。
下一课：量化详解
看上去比你的内存还大的模型，不一定就此出局。第 4 课会讲，像 Q4_K_M 这样的文件名怎样把它缩小，以及更小的文件会让你损失什么。
自测一下
Llama 4 Scout 写的是总参数 109B、活跃参数 17B。哪个数字决定它的权重要占多少内存？
查看答案
C. 109B 这个总参数 每位专家都要加载进内存，所以总参数决定权重的大小，活跃参数决定每个 token 的计算量。
你看中的模型，模型卡上的基准成绩很好看。接下来该做什么？
查看答案
A. 拿你自己工作里的五条提示词，在它和另一个对手上各跑一遍 展示哪些基准由发布者自己挑，Open LLM Leaderboard 团队也说自家的排名“正在慢慢过时”。
Llama 4 Scout 的模型卡写着 10M 上下文长度。这个数字告诉你什么？
查看答案
D. 它一次最多能装下的 token 数，你仍然要自己测试 它是上限。长输入除了权重还要占内存，准确率可能在窗口装满很久之前就下降。
Hugging Face 的混合专家文章说，Mixtral 8x7B 需要什么？
查看答案
B. 容纳一个 47B 稠密模型的显存，计算量却和 12B 模型相当 文章说其余的模型参数是共享的，所以总量是 47B 而不是 56B，每个 token 的计算量和 12B 模型一样。
常见问题
更大的开放模型一定更好吗？
不一定。更大的模型要更多的内存，稠密模型在每个 token 上也更慢。它是不是也更能答好你的提示词，只有你自己的测试才说得清。
这样的选择多久要重做一次？
发布者推出新版本时就要重做，因为名字和数字每隔几个月就会变。把那五条提示词存在一个文件里，重新跑一遍。每张模型卡都写着许可证和规模，可以先看这两项。
17Bx16E 和 26B A4B 这样的名字是什么意思？
在 Meta 的 17Bx16E 里，模型卡写明 17B 是激活的参数，16 是专家的数量。在 Gemma 4 的 26B A4B 里，A 代表活跃参数。名字里的第一个数，很少是决定速度的那个。
模型卡上的基准成绩可信吗？
它们是发布者自己挑的，所以只用来列候选名单。决定之前，先跑你自己的五条提示词，因为一个基准测的，可能是你的工作根本用不到的东西。
能运行比我的内存还大的模型吗？
有时可以。硬件那一课讲了卸载，也就是把模型的一部分放在系统内存里运行，更小的量化也能缩小文件。两种办法都有限度，所以下载之前先确认放得下。
资料来源
- Hugging Face blog: Mixture of Experts explained https://huggingface.co/blog/moe
- Hugging Face: Open LLM Leaderboard discussion 1135 (the end of the leaderboard) https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard/discussions/1135
- Hugging Face: openai/gpt-oss-20b model card https://huggingface.co/openai/gpt-oss-20b
- Hugging Face: google/gemma-4-26B-A4B-it model card https://huggingface.co/google/gemma-4-26B-A4B-it
- Hugging Face: google/gemma-4-12B-it model card https://huggingface.co/google/gemma-4-12B-it
- Hugging Face: Qwen/Qwen3.8-27B model card https://huggingface.co/Qwen/Qwen3.8-27B
- Hugging Face: deepseek-ai/DeepSeek-V4.1-Flash model card https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
- Hugging Face: mistralai/Mistral-Large-4-1T-A52B model card https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B
- GitHub: Meta Llama 4 model card https://github.com/meta-llama/llama-models/blob/main/models/llama4/MODEL_CARD.md
- Hugging Face Docs: Model Cards https://huggingface.co/docs/hub/model-cards
- Hugging Face Docs: GGUF https://huggingface.co/docs/hub/gguf
- Hugging Face Docs: Use Ollama with any GGUF model https://huggingface.co/docs/hub/ollama