MOSS-VL-Realtime

MOSS-VL-Realtime

能边看实时视频流边回答问题，画面没有新内容时保持沉默。适合做实时视频理解的开发者和研究人员。

由 OpenMOSS-Team 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MOSS-VL-Realtime 是 OpenMOSS-Team 推出的视频文本到文本模型，能读取实时视频流，并在画面不断到来的同时回答问题。它是 MOSS-VL 系列里的流式版本，这个系列也能处理图像和长视频。模型有 11.3B 参数，支持英文和中文，基于 MOSS-VL-Base 构建。

适合谁：如果你要做能盯着视频画面、在事件发生时给出回答的工具，或者研究流式视频理解，它适合你。

Industry | Who uses it | How they use it | Example
研究 | 视觉语言研究人员 | 研究流式视频理解，以及随场景变化而改变的答案 | 在视频流中途提问，看模型是否修正之前的回答
软件 | 应用开发者 | 做一个原型工具，随到随收视频帧并回答问题 | 一个能处理任意时间点所提问题的测试应用
教育 | 实验课老师 | 向学生展示模型如何推断事件顺序和持续时间 | 课堂演示：问一段视频里某个事件持续了多久

如果你只处理静态图片或已经录好的视频，可以跳过它，同一系列里有离线模型可用。

用在哪里：

• 用 Python 和 transformers 库，并开启 trust_remote_code
• 为 MOSS-VL 仓库创建的 conda 环境
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• 你自己的应用，以带时间戳的 PIL 兼容图像形式把帧喂给它

Use case | Who | What they get back
对实时流提问 | 开发者 | 基于目前已看到画面的回答
安静地观察 | 应用开发者 | 没有新内容时不回复，模型继续观察
时间相关的问题 | 研究人员 | 关于事件顺序、持续时间和节奏的回答

如何设置：

• conda 环境中的 Python 3.12
• 放得下权重的内存：BF16 约 22.7 GB，或者估算 4-bit 约 5.7 GB
• OpenMOSS 的 MOSS-VL 项目仓库及其依赖文件

1. 用 Hugging Face hub 包下载模型文件。
2. 克隆 OpenMOSS 的 MOSS-VL 仓库，并进入它的文件夹。
3. 创建并激活一个 Python 3.12 的 conda 环境。
4. 用 pip 安装该仓库里的 requirements.txt 文件。
5. 用 transformers 加载处理器和模型。

pip install -U huggingface_hub
hf download OpenMOSS-Team/MOSS-VL-Realtime

模型卡里的环境命令：

conda create -n moss_vl python=3.12 pip -y
conda activate moss_vl

如何使用：用检查点名称加载处理器，然后把带时间戳的帧一帧帧喂给模型，想问什么时候问都行。模型卡介绍了为此设计的推理接口，并规定每个模型实例同一时间只能有一个实时会话。完整的流式调用在它后面的章节里。

import torch
from transformers import AutoModelForCausalLM, AutoProcessor

checkpoint = "OpenMOSS-Team/MOSS-VL-Realtime"

processor = AutoProcessor.from_pretrained(
    checkpoint,
    trust_remote_code=True,
    frame_extract_num_threads=1,
)

Tool | What it does
hf download | 把模型文件下载到你的电脑
AutoProcessor | 为模型准备画面帧和文本
AutoModelForCausalLM | 加载模型权重

示例：视频流在播放时，你问屏幕上的人现在手里拿着什么。模型根据目前看到的帧作答。如果没有出现新内容，它可以保持沉默继续观察，后面的画面改变了情况时，它也可能修正之前的回答。

新手与专家：它在视频播放时就开始观看，而不是等整个文件到齐。第一次尝试时，先用上面两条命令下载文件，按模型卡加载处理器和模型，然后给它几帧带时间戳的画面和一个问题。请准备大显存的 GPU，或者用 4-bit 版本。

在底层，交叉注意力设计把视觉编码和语言推理分开，所以模型在写作过程中，新的帧也能加入上下文。每一帧都带有绝对时间戳。一种叫 XRoPE 的位置方案把文本 token 和视觉图块放进由时间、高度和宽度组成的同一个空间。模型卡列出的默认值有 256K 上下文、每秒 1.0 帧、最多 256 帧，视觉图块大小 16，时间图块大小 1。

带时间戳的帧不断到来
模型一边读帧一边写作
你在任意时刻提问
它回答、保持沉默或修正

注意事项：这个模型需要大显存的 GPU，量化版本能大幅缩小权重。

Title: 权重大小，单位 GB
BF16: 22.7 GB
4-bit，估算: 5.7 GB

• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务，硬件要你自己准备
• Data it reaches: 从 Hugging Face 下载权重，因为 trust_remote_code 会运行模型仓库里附带的代码，并读取你提供的视频帧
• Not for: 在一个模型实例上同时运行多个实时会话，因为模型卡规定一次只能有一个

Hugging Face 上的数据（2026年11月13日）

• 任务：video text to text
• 框架：transformers
• 参数量：11.3B
• Weights: about 22.7 GB in BF16; about 5.7 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,934
• 点赞：117
• 许可证：apache-2.0
• 语言：en, zh
• 基于：OpenMOSS-Team/MOSS-VL-Base
• Quantized versions: 2
• Fine-tunes: 1
• 标签：transformers, safetensors, moss_vl, feature-extraction, realtime, streaming, video-understanding, image-understanding, moss-vl, openmoss, multimodal, video

链接

• 模型：https://huggingface.co/OpenMOSS-Team/MOSS-VL-Realtime
• 文件：https://huggingface.co/OpenMOSS-Team/MOSS-VL-Realtime/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download OpenMOSS-Team/MOSS-VL-Realtime

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。