MiniCPM-V 端侧多模态模型

它是什么

MiniCPM-V 和 MiniCPM-o 是 OpenBMB 的开源多模态模型，由 THUNLP 和 ModelBest 开发。README 的标语是“See, hear, and interact on your local devices”，意思是在你自己的设备上看、听、互动。MiniCPM-V 4.7 能读图片、一次读多张图，也能读文档和视频，有两个尺寸：35B-A3B 是这个系列的第一个混合专家（MoE）模型，另一个是稠密的 1B。MiniCPM-o 4.5 是一个 9B 模型，一边接收视频和音频，一边写文字、开口说话。这个仓库里有 README、文档，以及 eval_mm、finetune、web_demos 等文件夹。权重放在 Hugging Face 和 ModelScope 上，手机应用在另一个仓库里。

1. 选一个尺寸：1B、35B-A3B 或 9B 全模态模型
2. 从 Hugging Face 或 ModelScope 下载权重
3. 用一个框架运行，或者打开手机应用
4. 把图片、视频或音频连同问题一起发过去
5. 读文字回复，或者听 MiniCPM-o 说出来

适合谁

想在自己的硬件上让模型读图片、文档和视频的开发者和研究人员，以及做手机或边缘设备应用的人。它需要实打实的硬件，要多少取决于你选的尺寸。如果你想要一个打磨好的聊天产品，可以不用它：手机应用只是演示版，在线演示跑在别人的服务器上。

用在哪里

MiniCPM-V 是一组模型，不是编程智能体的插件。README 没有写任何智能体集成。文档给了下面这些运行途径。

如何设置

点“获取”会把一个装有 Mindket 安装说明的 zip 压缩包存进你的下载文件夹，里面按 OpenBMB 的 README、文档和 cookbook，为每条途径写了一页。主要途径是 Transformers，4.7 页面把它排在第一。

1. 用下面这行安装软件包。
2. 用页面上的代码加载模型。1B 和 35B-A3B 都可以。
3. 准备图片和问题。把它们写进 messages 列表，先套用处理器的对话模板，再调用 generate。完整示例在页面上。

pip install "transformers[torch]>=5.18.0" torchvision torchcodec

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "openbmb/MiniCPM-V-4.7-35B-A3B"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id, torch_dtype="auto", device_map="auto"
)

页面用的是 35B-A3B 的名字。要用 1B，就换成 openbmb/MiniCPM-V-4.7-1B。

如何使用

想快速试一下，Transformers 自带一个轻量的兼容 OpenAI 的服务器。页面说它适合快速测试和中等负载。先启动它，再发请求。

pip install "transformers[serving]>=5.18.0"
transformers serve openbmb/MiniCPM-V-4.7-35B-A3B --port 8000 --host 0.0.0.0

curl -s http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openbmb/MiniCPM-V-4.7-35B-A3B",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "image_url", "image_url": {"url": "https://huggingface.co/datasets/openbmb/DemoCase/resolve/main/refract.png"}},
        {"type": "text", "text": "What causes this phenomenon?"}
      ]
    }]
  }'

页面的命令带着 --host 0.0.0.0，会在所有网络接口上监听。只有你自己用的话，改成 127.0.0.1。指令模式下，这些页面推荐 temperature 0.7、top_p 0.95、top_k 100、min_p 0.0、presence_penalty 0 和 repetition_penalty 1.03。

示例

你没有大显卡，想知道一张照片里有什么。你构建好 llama.cpp，从 Hugging Face 下载 1B 的 F16 文件和它的 mmproj 文件，然后在 build/bin/ 里运行 cookbook 给的命令。

./llama-mtmd-cli \
    -m  /path/to/MiniCPM-V-4.7-1B/MiniCPM-V-4_7-1B-F16.gguf \
    --mmproj /path/to/MiniCPM-V-4.7-1B/mmproj-model-f16.gguf \
    -c 8192 --temp 0.7 --top-p 0.8 --top-k 100 --repeat-penalty 1.05 \
    --reasoning off \
    --image xx.jpg -p "What is in the image?"

xx.jpg 是指南里代表你那张图片的占位名。指南没有给出输出，所以你得到什么取决于照片本身。每个仓库根目录下的 GGUF 文件在模板里关掉了思考，所以回复直接给出答案。

新手与专家

新手：多模态模型接收的不只是文字。你给 MiniCPM-V 一张图或一段视频，再加一个问题，它用文字回答。MiniCPM-o 还能接收音频，也能用语音回答。1B 是小的那个。先试试 README 里的在线演示，装任何东西之前看看它能做什么。然后从 1B 模型和表里的一条途径开始。

专家：4.7 页面说，设备内存常常装不下混合专家模型的全部专家权重，按需加载专家又会让解码卡顿。它的办法是 Lookahead Expert Scheduling：预测下一层要用的专家并提前加载，再配合逐层量化和 DSpark 投机采样。页面报告在 iPhone 17 Pro Max 上用 3 GB 内存，解码速度超过每秒 13 个 token。应用的 README 补充说，35B-A3B 从 SSD 流式读取专家，并在 12 GB 内存的 iPhone 17 Pro Max 上验证过。

Transformers 里有两个图像设置要留意。downsample_mode 默认是 16x，4x 会保留四倍的视觉 token，细节更多。它必须同时传给 apply_chat_template 和 generate。max_slice_nums 默认是 9，页面推荐图片用 36、视频用 1。

不同途径的思考模式不一样。vLLM 指南说它的对话模板默认开启思考，要普通回复就把 enable_thinking 设为 false。托管 API 默认关闭思考。llama.cpp 指南自己的命令用 top-p 0.8 和 repeat-penalty 1.05，而它的采样说明推荐 0.95 和 1.03。DSpark 草稿头能加快解码，但 llama-mtmd-cli 不支持草稿模型，所以要用 llama-cli 或 llama-server，并且每个草稿都要配同尺寸的目标模型。

注意事项

大部分在你的电脑上运行，有几条路径会连到外面。

• 会安装什么：这些说明本身什么都不装。每条途径下载自己的文件：Python 包和权重、llama.cpp 构建和 GGUF 文件、一个服务框架，或者一个手机应用
• 会变的地方：2026 年 11 月 3 日时，Ollama 指南说它自带的 llama.cpp 还加载不了 4.7 的 GGUF 文件，SGLang 指南说要用一个分支 tc-mb/sglang。开始之前把这两份指南都看一遍
• 托管途径：托管 API 和在线演示跑在别的服务器上，所以你的输入会离开你的电脑。API 指南没有写价格，也没有写数据政策。MiniCPM-o 4.5 页面提醒，从海外服务器访问网页演示时可能很慢，或者丢掉部分输出
• 实验性：MiniCPM-o 4.5 页面称它是一次实验性尝试。页面列出的问题有：全双工流式的基础能力还要加强，全模态模式下语音可能读错字，回复可能中英文混杂
• 制作方的声明：项目页面说，模型的输出不代表开发者的观点，开发者也不对使用模型带来的问题负责
• 手机应用：装好后由应用下载模型文件。35B-A3B 的下载约 16.6 GB，所以要留出约 17 GB 的空闲存储
• 使用数据：README 和 Mindket 读过的文档页面都没有提到遥测
• 卸载：README 和文档都没有给出卸载步骤，每条途径各自保存下载的文件。Mindket 的说明建议用对应工具自己的方式删除
• 许可证：Apache-2.0。LICENSE 文件写的是“Copyright OpenBMB”。模型许可证一节邀请你填写一份可选的注册问卷