Molmo2-8B

Molmo2-8B

回答关于图片、视频以及多张图片的问题，还能指出它找到的东西。适合想要开源 8B 视觉语言模型来做视频问答、计数和描述的开发者。

由 allenai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Molmo2-8B 是艾伦人工智能研究所的开源视觉语言模型。它能理解单张图片、多张图片和视频，还能通过指出其中的位置来给答案提供依据。它基于 Qwen3-8B，用 SigLIP 2 作视觉骨干，并在公开的第三方数据集上训练。

适合谁：它适合需要开源模型来回答视频和图片相关问题、数物体或给片段写描述的开发者和研究者。

Industry | Who uses it | How they use it | Example
媒体 | 视频分析师 | 询问片段里出现了什么 | 问视频里出现了哪种动物
软件 | 应用开发者 | 给产品加上图片和视频理解 | 为资料库里的短片写描述
机器人和视觉 | 视觉工程师 | 通过视频帧中的点来定位物体 | 得到被追踪物体的点坐标
研究 | 多模态研究者 | 在计数和描述上测试开源视觉语言模型 | 在短视频上比较回答

如果你只需要文字聊天，或者没有能运行 8B 模型的 GPU，可以跳过它。

用在哪里：它通过 transformers 库在你自己的电脑上用 Python 运行，使用模型卡固定的版本。

• 用 conda 设置的 Python 3.11 环境
• 使用 transformers 和 molmo_utils 辅助库的 Python 脚本
• 内存足够装下权重的 Windows、macOS 或 Linux 机器

Use case | Who | What they get back
视频问答 | 开发者 | 关于视频里发生了什么的文字回答
视频中的指点 | 视觉团队 | 以时间、x、y 三元组表示的点坐标
计数和描述 | 研究者 | 来自图片和片段的计数和简短描述

如何设置：你需要一个 Python 3.11 的 conda 环境，transformers 固定为 4.57.1，以及几个视觉相关的包。加载模型时要打开 trust_remote_code。

1. 安装 Hugging Face 的 hub 工具并下载模型文件。
2. 创建并激活 conda 环境。
3. 安装 transformers 和视觉相关的包。
4. 加载处理器和模型。

pip install -U huggingface_hub
hf download allenai/Molmo2-8B

conda create --name transformers4571 python=3.11
conda activate transformers4571
pip install transformers==4.57.1
pip install torch pillow einops torchvision accelerate decord2 molmo_utils

如何使用：你加载处理器和模型，用你的问题和一段视频或图片构建一条消息，套用聊天模板，然后生成并解码。第一段代码把两部分都加载进来。

from transformers import AutoProcessor, AutoModelForImageTextToText
import torch

model_id="allenai/Molmo2-8B"

# load the processor
processor = AutoProcessor.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype="auto",
    device_map="auto"
)

# load the model
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype="auto",
    device_map="auto"
)

用文字问题和一段视频构建好 messages 之后，运行模型并打印回复。

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True,
)

inputs = {k: v.to(model.device) for k, v in inputs.items()}

# generate output
with torch.inference_mode():
    generated_ids = model.generate(**inputs, max_new_tokens=2048)

# only get generated tokens; decode them to text
generated_tokens = generated_ids[0, inputs['input_ids'].size(1):]
generated_text = processor.tokenizer.decode(generated_tokens, skip_special_tokens=True)

# print the generated text
print(generated_text)

Tool | What it does
AutoProcessor | 为模型准备文字、图片和视频
apply_chat_template | 把你的消息变成模型输入
process_vision_info | 为指点示例准备视觉输入
extract_video_points | 从模型输出的文字里读出点坐标

示例：你发送一段视频，并问 "Which animal appears in the video?"，模型卡的示例回答是一句简短的话，说视频里出现了企鹅。指点请求则会返回坐标，你可以把它们读成随时间变化的点。

新手与专家：视觉语言模型会连同你的问题一起读图片或视频，并用文字回答。第一次尝试可以用视频问答的例子，配上你自己的一段短视频。

指点格式假设坐标按 1000 缩放，模型卡的辅助代码会把它转换成像素位置。模型卡称，在短视频、计数和描述上它比同类开源模型更有优势，在长视频上也有不错的结果。训练代码和其他产物承诺稍后发布。

加载处理器和模型
用一段视频和一个问题构建消息
套用聊天模板
生成并解码回复

注意事项：Ai2 公开发布了 Molmo2 的数据集，并说之后还会有更多产物。

• Setup: 模型卡在全新的 conda 环境里把 transformers 固定为 4.57.1。
• Remote code: 加载使用 trust_remote_code，它会运行仓库里的自定义代码。
• Size: 以 F32 计约 34.6 GB，4 位量化约 4.3 GB，均为估算。
• License: Apache 2.0。
• Cost to run: 未提及。它需要你自己的 GPU。
• Data it reaches: 你提供的图片和视频，另外模型卡的示例会从网上加载一个演示视频。
• Not for: 模型卡没有列出排除项。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：8.7B
• Weights: about 34.6 GB in F32; about 4.3 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：45,213
• 点赞：201
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3-8B
• Quantized versions: 4
• Fine-tunes: 6
• 标签：transformers, safetensors, molmo2, image-text-to-text, multimodal, olmo, molmo, conversational

链接

• 模型：https://huggingface.co/allenai/Molmo2-8B
• 文件：https://huggingface.co/allenai/Molmo2-8B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download allenai/Molmo2-8B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。