Molmo2-4B

Molmo2-4B

回答关于图片、视频和多张图片的问题，还能指出它找到的内容。这是 Ai2 的开源视觉语言模型，适合自己运行模型的开发者和研究者。

由 allenai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Molmo2-4B 是艾伦人工智能研究所（Ai2）的开源视觉语言模型。它能读图片、视频和多张图片组，用文字回答相关问题，还能指出它找到的东西。它基于 Qwen3-4B-Instruct，视觉部分使用 SigLIP 2。

适合谁：适合想在自己机器上运行开源模型来处理图片和视频问题的开发者和研究者。根据记录，它只支持英文。

行业 | 谁在用 | 怎么用 | 例子
科研 | 机器学习研究者 | 在自己的视频片段上测试视频问答和指点功能 | 问一段短视频里出现了哪种动物
媒体 | 视频资料库团队 | 给片段写说明并数里面的东西 | 数一批短视频里的物体
软件 | 应用开发者 | 给产品加入图片和视频理解 | 给用户上传的照片写说明

只需要纯文字聊天的人可以跳过它，因为这个模型是围绕图片和视频做的。

用在哪里：

• 装有 transformers 库的 Python，可在 Windows、macOS 或 Linux 上使用
• conda 环境，模型卡就是这样配置的
• 任何放得下权重的机器，F32 下约 19.4 GB，4-bit 下估计约 2.4 GB

使用场景 | 适合谁 | 你会得到什么
视频问答 | 开发者 | 一段关于片段内容的文字回答
视频中指点 | 研究者 | 你所问事物的坐标，以可解析的文本形式给出
写说明和计数 | 内容团队 | 图片和短视频的说明与计数

如何设置：你需要先准备几样东西。

• Python 3.11，模型卡通过 conda 安装
• 足够放下权重的磁盘空间和内存
• Hugging Face hub 工具，如果你想先把文件下载到磁盘

1. 用 hub 工具下载仓库文件。
2. 创建并激活一个 Python 3.11 的 conda 环境。
3. 安装 transformers 4.57.1 和模型卡列出的其他包。
4. 打开 trust_remote_code，加载处理器和模型。

pip install -U huggingface_hub
hf download allenai/Molmo2-4B

conda create --name transformers4571 python=3.11
conda activate transformers4571
pip install transformers==4.57.1
pip install torch pillow einops torchvision accelerate decord2 molmo_utils

如何使用：你写一条消息，里面有一个文字问题和一段视频或一张图片。处理器把它变成模型输入，模型生成词元，你再把它们解码回文字。模型卡里有一个通用视频问答示例和一个指点示例。

from transformers import AutoProcessor, AutoModelForImageTextToText
import torch

model_id="allenai/Molmo2-4B"

工具 | 作用
AutoProcessor | 为模型准备文字和视频
AutoModelForImageTextToText | 加载 Molmo2-4B 并生成回答
molmo_utils | 辅助包，指点示例用到它的 process_vision_info
General Video QA | 就一段视频提出自由形式的问题
Pointing Video QA | 让模型指出事物，并把回复转成坐标

示例：附上一段短视频，问 "Which animal appears in the video?"，这是模型卡自己用的问题。模型会回复一句话，说出它看到的动物，你解码生成的词元后打印这段文字。

新手与专家：视觉语言模型会看图片或视频，并用文字回答。第一次尝试时，先配好环境，用一段短视频运行通用视频示例，再把问题改成关于你自己素材的内容。

往底层看，它把 Qwen3 系列的语言模型和 SigLIP 2 视觉编码器配在一起。指点的回答以文本形式返回，坐标按 1000 缩放，示例代码会把它转成像素。权重以 F32 提供，所以内存是主要成本，而 trust_remote_code 意味着你会运行仓库自带的代码。

视频或图片加一个文字问题
处理器构建模型输入
模型生成回答词元
词元解码回文字

注意事项：

• License: Apache 2.0。
• Cost to run: 没有提到 API 密钥或付费服务。你自己提供算力，权重从 Hugging Face 下载。
• Data it reaches: 你传入的图片和视频。模型卡的示例会从网上加载视频，trust_remote_code 会运行仓库里的代码。
• Not for: 英文以外的语言，因为记录只列了 en。它的训练代码和评测据说以后才会发布，所以不在这次下载里。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：4.9B
• Weights: about 19.4 GB in F32; about 2.4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：26,915
• 点赞：57
• 许可证：apache-2.0
• 语言：en
• 基于：google/siglip-so400m-patch14-384
• Quantized versions: 6
• Fine-tunes: 15
• 标签：transformers, safetensors, molmo2, image-text-to-text, multimodal, olmo, molmo, conversational

链接

• 模型：https://huggingface.co/allenai/Molmo2-4B
• 文件：https://huggingface.co/allenai/Molmo2-4B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download allenai/Molmo2-4B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。