ERNIE-4.5-VL-28B-A3B-Thinking

ERNIE-4.5-VL-28B-A3B-Thinking

读取图像和文字并进行推理，29.7B 参数中同一时间约有 3B 处于激活状态。涵盖读图表、根据照片解 STEM 题、视觉定位和放大图像。Apache 2.0。

由 baidu 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是百度的图文推理模型，是 ERNIE-4.5-VL-28B-A3B 的升级版。它总共有 29.7B 参数，按模型卡所说，每个 token 只激活约 3B。百度用大量视觉推理数据对它做了进一步训练，然后在答案可检验的任务上做了强化学习。它支持英语和中文。模型卡说它在许多基准上与顶级旗舰模型相当，这是作者自己的说法。

适合谁：如果你是开发者或研究人员，要构建需要对图片、图表和拍下来的题目做推理的智能体或工具，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
教育 | 构建学习工具的团队 | 根据照片解 STEM 题 | 读取一道拍下来的物理题并算出答案
商业分析 | 阅读报告的分析人员 | 对图表和图形提问 | 解释一张销售图表里的趋势
工业软件 | 检测工具的开发者 | 用视觉定位指出图像的某些部分 | 在复杂场景里找到带标签的零件

如果你只处理文字，可以跳过它，因为文本模型需要的内存比这个图像模型少得多。

用在哪里：

• 使用 transformers 库的 Python 脚本
• 内存足以放下几十 GB 权重的机器
• 装有 Python 的 Windows、macOS 和 Linux，用来下载文件

用例 | 谁 | 得到什么
视觉推理 | 开发者 | 一步一步地回答图像里有什么
STEM 辅导 | 学生和辅导老师 | 照片里题目的详细解答
定位 | 工具构建者 | 与指令对应的图像位置

如何设置：
你需要先准备：

• Windows、macOS 或 Linux 上的 Python
• 能放下约 59.3 GB BF16 权重的硬件，或者一个更小的量化版本
• transformers 库

1. 安装或更新 Hugging Face 下载客户端。
2. 把模型文件下载到你的电脑。
3. 在你自己的 transformers 代码里加载模型。
4. 阅读完整的模型卡，查看确切的加载代码。

pip install -U huggingface_hub
hf download baidu/ERNIE-4.5-VL-28B-A3B-Thinking

如何使用：你给模型一张图像和一个问题，它用文字回答。这里的模型卡文字里没有代码，所以如何加载它、如何打开它的放大功能，请参考完整的模型卡。

工具 | 作用
Visual reasoning | 处理多步推理、读图表和图像里的因果关系
Visual grounding | 把指令和图像中的位置对应起来
Thinking with Images | 让模型放大缩小图像，捕捉细节
Image zooming and image search | 模型卡与该功能搭配的工具，用于细节和冷门知识

示例：你拍下一道物理题，请模型解答。模型卡把照片里的题目列为 STEM 方面的强项，所以这正是它调优针对的那类任务。

新手与专家：推理模型会先把问题想一遍再回答。可以先给它一张图表，问它显示了什么趋势。

对熟悉这个领域的读者来说，模型卡说这个模型经过了视觉语言推理数据的中期训练。随后在可验证的任务上做了强化学习，用 GSPO 和 IcePop 来保持混合专家训练的稳定。它还用了动态难度采样。

给模型一张图像和一个问题
它对图片进行推理
它可能放大细节
可选的工具补充搜索或裁剪
它写出答案

注意事项：

• 说法：与旗舰模型的对比是百度自己的说法，它的基准图片不在这里的文字里。
• 截断：这里的文字在关键能力列表处结束，没有包含使用代码。
• 大小：29.7B 参数，BF16 下约 59.3 GB，4 位下约 14.8 GB（估计值）。
• 激活规模：每个 token 约用 3B 参数，但全部权重仍然需要存放。
• 版本：Hugging Face 列出别人做的 2 个量化版本和 2 个微调版本。
• 语言：Hugging Face 列出英语和中文。

Title: 模型的权重大小
BF16: 59.3 GB
4-bit, estimated: 14.8 GB

• License: Apache 2.0。
• Cost to run: 未提及。你需要能放下这些权重的硬件。
• Data it reaches: 你给它的图像和文字。如果你加上图像搜索工具，由该工具决定什么会离开你的机器。
• Not for: 这里的文字里没有提到。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：29.7B
• Weights: about 59.3 GB in BF16; about 14.8 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：2,021
• 点赞：548
• 许可证：apache-2.0
• 语言：en, zh
• Quantized versions: 2
• Fine-tunes: 2
• 标签：transformers, safetensors, ernie4_5_moe_vl, image-text-to-text, ernie4.5, conversational

链接

• 模型：https://huggingface.co/baidu/ERNIE-4.5-VL-28B-A3B-Thinking
• 文件：https://huggingface.co/baidu/ERNIE-4.5-VL-28B-A3B-Thinking/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download baidu/ERNIE-4.5-VL-28B-A3B-Thinking

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。