MiniCPM-o 4.5

MiniCPM-o 4.5

一个 9B 模型就能处理图片、视频、语音和实时音视频流，并用英文和中文以文字和语音回答。适合构建语音和视觉助手的开发者。

由 openbmb 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MiniCPM-o 4.5 是 openbmb 推出的 9B 参数多模态模型。它能读取图片、视频和语音，并能用文字或语音回答。它把 SigLip2、Whisper-medium、CosyVoice2 和 Qwen3-8B 连成了一个端到端模型。

适合谁：构建能看、能听、能说的助手的开发者，以及测试视觉和语音模型的研究人员。模型卡说它能在说话的同时接收实时视频和音频。语音克隆只能用于你有权使用的声音。

Title: 谁在用，怎么用
Industry | Who uses it | How they use it | Example
软件 | 助手开发者 | 构建能在本地硬件上运行的语音和视觉助手 | 原型能回答关于摄像头所见内容的语音提问
文档处理 | 后台系统开发者 | 从页面图片中解析英文文档 | 脚本把一页扫描件转成文字
无障碍 | 应用开发者 | 把实时画面用语音描述出来 | 应用用语音简短描述摄像头画面
研究 | 机器学习研究人员 | 研究全双工多模态流式处理 | 用同样的提示词对比指令模式和思考模式

如果你只需要纯文字聊天，可以跳过它，因为纯文字模型运行起来更轻。

用在哪里：

• Nvidia GPU 上的 PyTorch，模型卡推荐用它跑全精度
• llama.cpp 和 Ollama，用于本地设备上的 CPU 运行
• vLLM 和 SGLang，用于高吞吐的部署
• 模型卡开源的网页演示，可在 GPU 或 Mac 上运行

Use case | Who | What they get back
图片和视频提问 | 开发者 | 关于图片和视频片段的文字回答
语音对话 | 应用开发者 | 英文和中文的语音回复，声音可配置
实时流式处理 | 研究人员 | 视频和音频持续输入的同时产生的文字和语音

如何设置：你需要 Python 和 pip 来下载文件。全精度运行需要 Nvidia GPU，本地设备则可以用更小的量化版本。

• Python 和 pip
• PyTorch 运行用的 Nvidia GPU，或 CPU 运行用的 llama.cpp 之类的运行工具
• 放权重的磁盘空间，BF16 下约 18.7 GB

1. 安装 Hugging Face hub 库。
2. 下载这个仓库。
3. 按模型卡里你所选运行工具的使用步骤操作。

pip install -U huggingface_hub
hf download openbmb/MiniCPM-o-4_5

如何使用：从模型卡里选一条路线。基本路线是 Nvidia GPU 上的 PyTorch，16 种大小的量化版本则适合本地设备。模型卡还开源了网页演示，用来体验实时流式处理。

Tool | What it does
PyTorch inference | 在 Nvidia GPU 上以全精度运行模型
llama.cpp and Ollama | 在 CPU 上高效运行量化版本
vLLM and SGLang | 以更少的内存同时处理很多请求
Web demo | 在本地 GPU 或 Mac 上提供实时流式体验

示例：你打开本地网页演示，用语音问桌上的一个物体是什么。模型可以通过摄像头观察、倾听，并在流继续进行的同时用语音回答。

新手与专家：如果你是新手，可以把它看成一个既能看图、又能听你说话并回话的模型。先从模型卡的网页演示或量化版本开始，再考虑全尺寸权重。

对熟悉的人来说，编码器和解码器通过隐藏状态与语言模型相连，而不是靠分开的工具。模型卡描述了一种全双工流式机制，带有交错的语音词元解码器。模型卡给出的 OpenCompass 平均分是 77.6，图片上限为 180 万像素，视频上限为每秒 10 帧。

视频、音频和文字输入
编码器把内容送给语言模型
模型综合所有输入进行推理
文字和语音流式返回

注意事项：

Title: 权重大小，单位 GB，4-bit 为 Hugging Face 的估计值
BF16: 18.7 GB
4-bit: 4.7 GB

• License: Apache 2.0
• Cost to run: 没有列出费用，不过全精度需要 Nvidia GPU
• Data it reaches: 它从 Hugging Face 下载文件，实时模式会读取你提供的摄像头或麦克风输入
• Not for: 克隆你无权使用的声音
• 模型卡支持 30 多种语言，语音为英文和中文

Hugging Face 上的数据（2026年11月13日）

• 任务：any to any
• 框架：transformers
• 参数量：9.4B
• Weights: about 18.7 GB in BF16; about 4.7 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：170,793
• 点赞：1,571
• 许可证：apache-2.0
• Quantized versions: 13
• Fine-tunes: 9
• 标签：transformers, onnx, safetensors, minicpmo, feature-extraction, minicpm-o, minicpm-v, multimodal, full-duplex, any-to-any

链接

• 模型：https://huggingface.co/openbmb/MiniCPM-o-4_5
• 文件：https://huggingface.co/openbmb/MiniCPM-o-4_5/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download openbmb/MiniCPM-o-4_5

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。