ERNIE-4.5-21B-A3B-Thinking-GGUF

ERNIE-4.5-21B-A3B-Thinking-GGUF

用每个词元只激活 3B 参数的 21B 混合专家模型处理逻辑、数学、科学和编程问题，提供 Unsloth 制作的 GGUF 文件。支持工具调用和 128K 上下文。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 ERNIE-4.5-21B-A3B-Thinking 的 GGUF 版本，这是百度的一个文本模型，回答前会长时间推理。它总共有 21B 参数，每个词元激活 3B。Unsloth 制作了量化文件，记录里列出了英语和中文。

适合谁：想在自己硬件上用中等规模、带工具调用和长上下文的推理模型的开发者和研究人员。卡片建议把它用于高度复杂的推理任务，因为这个版本思考得更久。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在自己的技术栈里运行带函数调用的推理模型 | 在聊天里让它调用天气函数
研究 | AI 研究人员 | 在数学、科学和编程问题上测试推理 | 比较它在难题上的思考长度
教育 | 学生 | 学习推理模型如何一步步解决问题 | 要求一个证明并阅读每一步
自托管 | 小团队 | 把长上下文模型放在自己的机器上 | 喂给它最多 131072 个词元的长文档

想要对简单问题快速给出简短回复的人可以跳过它，因为更长的思考会拖慢每次回答。

用在哪里：

• Windows、macOS 或 Linux 上的 Python，用于下载文件
• FastDeploy，卡片里展示的服务器，针对原始权重设置
• 卡片还预期 vLLM 和 transformers 可以加载 Transformer 风格的权重

Use case | Who | What they get back
困难推理 | 学生和研究人员 | 对逻辑、数学或科学问题的长篇演算式回答
编程帮助 | 开发者 | 经过推理的代码建议
工具使用 | 开发者 | 模型自己决定发起的函数调用

如何设置：

• Python，用于 Hugging Face hub 工具
• 你选的文件所需的磁盘空间，4-bit 权重估计约 10.9 GB
• 对原始权重走 FastDeploy 路线，需要一块 80 GB GPU 和 FastDeploy 2.2 版

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载文件。
3. 选一个能加载 GGUF 文件的运行器，因为卡片没有给出 GGUF 的运行命令。

pip install -U huggingface_hub
hf download unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF

如何使用：卡片的快速开始用 FastDeploy 部署百度的原始权重，命令如下。它启动一个 OpenAI 风格的服务器，带推理解析器、工具调用解析器和完整的 131072 词元上下文。支持函数调用。

python -m fastdeploy.entrypoints.openai.api_server \
       --model baidu/ERNIE-4.5-21B-A3B-Thinking \
       --port 8180 \
       --metrics-port 8181 \
       --engine-worker-queue-port 8182 \
       --load_choices "default_v1" \
       --tensor-parallel-size 1 \
       --max-model-len 131072 \
       --reasoning-parser ernie_x1 \
       --tool-call-parser ernie_x1 \
       --max-num-seqs 32

Tool | What it does
--model | 指定要提供服务的模型
--port | 设置服务器端口，这里是 8180
--max-model-len | 设置上下文长度，这里是 131072
--reasoning-parser | 把模型的思考和答案分开
--tool-call-parser | 读取模型发起的函数调用
--max-num-seqs | 限制同时运行的序列数，这里是 32

示例：你问今天北京的天气，并给模型一个 get_weather 函数可以调用。卡片用这个设置来演示函数调用，模型可以用对该函数的调用来回答。

新手与专家：这是推理模型，所以预期它会思考一阵再回答。稳妥的第一步是下载文件，选一个能读 GGUF 的运行器。从一个难题开始，而不是一个简单的问题。

这个模型是一个文本混合专家模型，有 28 层，20 个查询头共享 4 个键值头。每个词元用 64 个文本专家中的 6 个，外加 2 个共享专家。卡片说这个版本的思考长度增加了，目标是推理、工具使用和 128K 上下文。

发送一个问题，可带或不带工具列表
模型长时间思考
解析器把思考和答案分开
你得到答案或函数调用

注意事项：

• Thinking: 这个版本的思考长度更长，卡片建议把它用于高度复杂的推理任务。
• Hardware: 卡片里的 FastDeploy 路线需要一块 80 GB GPU 和 FastDeploy 2.2 版。
• Context: 上下文长度是 131072 个词元。
• License: Apache 2.0。
• Cost to run: 未提及。FastDeploy 路线需要 80 GB GPU，来源里没有出现付费服务。
• Data it reaches: 你电脑上的文件，以及来自 Hugging Face 的模型文件。
• Not for: 对简单问题的快速回复，因为卡片把这个版本定位在高度复杂的推理上。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：21.8B
• Weights: about 10.9 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：6,361
• 点赞：62
• 许可证：apache-2.0
• 语言：en, zh
• 基于：baidu/ERNIE-4.5-21B-A3B-Thinking
• 标签：transformers, gguf, ernie4.5, text-generation, conversational

链接

• 模型：https://huggingface.co/unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF
• 文件：https://huggingface.co/unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。