ERNIE-4.5-21B-A3B-Thinking

ERNIE-4.5-21B-A3B-Thinking

以推理见长的 ERNIE 4.5 混合专家文本模型，总参数 21B、激活参数 3B，上下文 128K，支持工具调用，支持英文和中文。适合需要用较小激活规模做深度推理的开发者。

由 baidu 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是百度对 ERNIE 4.5 21B-A3B 做过思考强化的版本，专为长时间推理难题而打造。它是混合专家模型，总参数约 21B，每个令牌激活其中 3B。百度称，相比更早的 A3B 版本，推理、工具使用和长上下文理解都有所改进，而且这个版本思考得更久。

适合谁：它适合想要一个能放进单块 80 GB GPU 的推理模型、并且会运行模型服务的开发者和研究人员。

行业 | 谁在用 | 怎么用 | 例子
教育 | 教师和学生 | 一步步解数学和科学题 | 检查一个物理推导
软件 | 开发者 | 用于编程辅助和函数调用 | 让它选一个函数并填好参数
研究 | 分析人员 | 在 128K 上下文内对长文档做推理 | 带着推理总结一份长报告
IT 运维 | 平台工程师 | 在兼容 OpenAI 的接口后面提供中等规模的推理模型 | 用 FastDeploy 运行它

如果你的任务只是简单聊天，可以跳过它，因为额外的思考长度会增加等待时间。

用在哪里：你把它作为服务器运行，再从自己的应用里调用。

• FastDeploy，模型卡给出了完整的启动命令
• 其他能加载 Transformer 风格权重的工具，比如 vLLM 和 transformers，模型卡预计它们可以使用
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

场景 | 适合谁 | 得到什么
难的推理问题 | 研究人员 | 一长段思考过程，然后是答案
函数调用 | 开发者 | 从你描述的函数里选出的一次工具调用
长输入 | 分析人员 | 在最多 131072 个令牌的上下文上作答

如何设置：模型卡说，用 FastDeploy 提供服务需要一块 80 GB 的 GPU 和 2.2 版本的 FastDeploy。权重在 BF16 下约 43.7 GB。

• 一块 80 GB 显存的 GPU
• 2.2 版本的 FastDeploy，加上 Python
• 为模型文件预留磁盘空间，约 43.7 GB

1. 按照 FastDeploy 自己的说明安装 2.2 版本。
2. 下载模型，或者让服务器按名字自己获取。
3. 用下面的命令启动 API 服务器。

pip install -U huggingface_hub
hf download baidu/ERNIE-4.5-21B-A3B-Thinking

如何使用：启动服务器，然后向它兼容 OpenAI 的接口发送聊天请求。同一次启动还会打开推理解析器和工具调用解析器。

工具 | 作用
fastdeploy.entrypoints.openai.api_server | 通过兼容 OpenAI 的接口提供模型服务
--reasoning-parser ernie_x1 | 把模型的思考和答案分开
--tool-call-parser ernie_x1 | 从输出里解析出函数调用
--max-model-len 131072 | 设定完整的上下文长度

python -m fastdeploy.entrypoints.openai.api_server \
       --model baidu/ERNIE-4.5-21B-A3B-Thinking \
       --port 8180 \
       --metrics-port 8181 \
       --engine-worker-queue-port 8182 \
       --load-choices "default_v1" \
       --tensor-parallel-size 1 \
       --max-model-len 131072 \
       --reasoning-parser ernie_x1 \
       --tool-call-parser ernie_x1 \
       --max-num-seqs 32

示例：你发送一个聊天请求，问北京今天的天气，并描述一个带有位置和单位参数的 get_weather 函数。模型支持函数调用，所以它可以回复对这个函数的调用，而不是瞎猜。

新手与专家：思考型模型会先把推理写出来，再给出答案。先拿一个难题试一下，比如一道简短的数学题，然后读一读它返回的推理过程。

对行家来说，这是一个后训练之后的纯文本混合专家模型。它有 28 层，20 个查询头配 4 个键值头，64 个文本专家，每个令牌激活 6 个，另有 2 个共享专家。取舍是思考长度更长，会增加延迟。

你的提示词发到服务器
路由器从 64 个专家里选出 6 个
模型先写出思考过程
然后写出答案或一次工具调用
解析器把思考和输出分开

注意事项：百度发布的是 Transformer 风格的权重，这样 PyTorch 和 PaddlePaddle 的工具都能加载它。其他人已发布了这个模型的 24 个量化版本和 4 个微调版本。

Title: 模型卡里的模型配置
设置 | 值
总参数和激活参数 | 21B 和 3B
层数 | 28
文本专家，总数和激活数 | 64 和 6
共享专家 | 2
上下文长度 | 131072

• License: Apache 2.0
• Cost to run: 未提及，除了一块 80 GB 的 GPU
• Data it reaches: 你发给自己服务器的提示词，以及你下载的模型文件
• Not for: 简单、快速的聊天，因为模型卡推荐把它用于高度复杂的推理

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：21.8B
• Weights: about 43.7 GB in BF16; about 10.9 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：64,420
• 点赞：796
• 许可证：apache-2.0
• 语言：en, zh
• Quantized versions: 24
• Fine-tunes: 4
• 标签：transformers, safetensors, ernie4_5_moe, text-generation, ernie4.5, conversational

链接

• 模型：https://huggingface.co/baidu/ERNIE-4.5-21B-A3B-Thinking
• 文件：https://huggingface.co/baidu/ERNIE-4.5-21B-A3B-Thinking/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download baidu/ERNIE-4.5-21B-A3B-Thinking

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。