MOSS-Video-Preview-Real-Time-SFT

MOSS-Video-Preview-Real-Time-SFT

在视频播放的同时给出评论，逐帧接收画面并低延迟作答。适合用 Python 和 transformers 构建实时视频助手的开发者和研究人员。

由 OpenMOSS-Team 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MOSS-Video-Preview-Real-Time-SFT 是 OpenMOSS-Team 推出的约 10.7B 参数的视频文本模型。它由 MOSS-Video-Preview-SFT 经过额外一轮实时监督微调得到。目标是对帧流快速作答，这样画面还在不断到来时，它就能谈论场景。

适合谁：它适合研究实时视频理解、并且能运行 GPU 或 NPU 机器的开发者和研究人员。

Industry | Who uses it | How they use it | Example
交互应用 | 开发者 | 构建在视频播放时给出评论的助手 | 逐帧描述一路视频画面
监控 | 运营团队 | 观察连续的视频流，并对动作得到即时反馈 | 场景一发生变化就报告
研究 | 视频语言研究人员 | 研究流式交叉注意力和沉默与发言之间的切换 | 在模型回答到一半时打断它，看它自我纠正

需要适合手机或笔记本的小模型的人，可以跳过它，因为 BF16 权重约 21.3 GB。

用在哪里：你在模型卡点名的硬件上，用 Python 和 transformers 运行它。

• Python 加 transformers，在 CUDA 或 NPU 机器上
• 一个脚本，从视频文件或连续的视频流里送入画面
• Windows、macOS 或 Linux，配合 Python，用来下载文件

Use case | Who | What they get back
实时场景解说 | 应用开发者 | 随画面到来而跟进视频的文字
持续监控 | 运营团队 | 对正在发生的事情的快速文字反馈
流式研究 | 研究人员 | 一个用来测试低延迟视频理解的检查点

如何设置：你需要 Python、一块够用的 GPU 或 NPU，以及一个用来试的视频文件。

• Python 和 transformers 库
• OpenCV（cv2）和 Pillow（PIL），模型卡的脚本会导入它们
• 一台有足够空间放下权重的 CUDA 或 NPU 机器，BF16 约 21.3 GB
• 你自己的一个视频文件

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 安装 transformers、OpenCV 和 Pillow。
4. 保存 How to use it 里的脚本，并把 video_path 指向你的视频。

pip install -U huggingface_hub
hf download OpenMOSS-Team/moss-video-preview-realtime-sft

如何使用：模型卡推荐通过 real_time_generate() API 做流式推理。下面的脚本从视频里送入画面，发送提示词，并在自己的线程里开始生成。模型卡的脚本接着会从 token_queue 里读取词元，但最后那个循环在这里看到的文本中被截断了。

import os, queue, threading, time, cv2
from PIL import Image
from transformers import AutoProcessor, AutoModelForCausalLM

def feed(video, q, fps=1.0):
    cap=cv2.VideoCapture(video); step=max(1, round((cap.get(cv2.CAP_PROP_FPS) or 25)/fps)); i=0
    while cap.isOpened():
        ok, f = cap.read()
        if not ok: break
        if i % step == 0: q.put(Image.fromarray(cv2.cvtColor(f, cv2.COLOR_BGR2RGB))); time.sleep(1/fps)
        i += 1
    cap.release()

checkpoint = "OpenMOSS-Team/moss-video-preview-realtime-sft"
video_path = "data/example_video.mp4"
prompt = "Describe the video."

processor=AutoProcessor.from_pretrained(checkpoint, trust_remote_code=True)
model=AutoModelForCausalLM.from_pretrained(checkpoint, trust_remote_code=True, device_map="auto")

image_queue, prompt_queue, token_queue = queue.Queue(), queue.Queue(), queue.Queue()
threading.Thread(target=feed, args=(video_path, image_queue), daemon=True).start()
time.sleep(1)
prompt_queue.put(prompt)
threading.Thread(
    target=lambda: model.real_time_generate(image_queue, prompt_queue, token_queue, processor),
    daemon=True,
).start()

Tool | What it does
real_time_generate | 在画面不断到来时生成文字，用到图像队列、提示词队列、词元队列和处理器
feed | 模型卡的辅助函数，读取视频文件，每秒大约放入一帧
AutoProcessor | 加载检查点对应的处理器
AutoModelForCausalLM | 加载检查点对应的模型

示例：你把 video_path 指向一段短视频，保留默认提示词 Describe the video。辅助函数每秒放入大约一帧。模型在画面到来时就开始生成文字，不必等到片段结束。

新手与专家：这个模型是一个看到就说的系统。它在视频画面到来时就看，并谈论它们，不必等整段视频播完。第一次可以先用模型卡的脚本，跑一段你自己的短视频。

如果你熟悉这个领域，模型卡描述了一种图像与视频统一的交叉注意力设计，带有原生的逐帧注入和交叉注意力 KV 缓存。画面以稳定的速率经过非阻塞的管线进入，这条管线与文本生成解耦，所以首词元时间保持较低。模型还被调成能在沉默与发言之间切换，并且可以被打断后修改回答。

视频帧进入输入队列
交叉注意力 KV 缓存保留上下文
模型决定保持沉默还是发言
词元一生成就流式输出

注意事项：模型卡称这是为实时使用调过的预览检查点。它列出支持 Flash Attention 2，并兼容 CUDA 和 NPU。权重 BF16 下约 21.3 GB，4-bit 下按估算约 5.3 GB。它支持英文和中文。

• 脚本传入了 trust_remote_code=True，这会运行模型仓库里的代码，所以请先读一读那些代码
• License: Apache-2.0
• Cost to run: 没有提到，但你需要一台内存足够的 GPU 或 NPU 机器
• Data it reaches: 你指向的视频文件，以及从 Hugging Face 下载的模型文件

Hugging Face 上的数据（2026年11月13日）

• 任务：video text to text
• 框架：transformers
• 参数量：10.7B
• Weights: about 21.3 GB in BF16; about 5.3 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：74
• 点赞：30
• 许可证：apache-2.0
• 语言：en, zh
• 基于：OpenMOSS-Team/moss-video-preview-sft
• 标签：transformers, safetensors, video_mllama, text-generation, multimodal, video, vision-language, mllama, streaming, realtime, low-latency, video-text-to-text

链接

• 模型：https://huggingface.co/OpenMOSS-Team/moss-video-preview-realtime-sft
• 文件：https://huggingface.co/OpenMOSS-Team/moss-video-preview-realtime-sft/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download OpenMOSS-Team/moss-video-preview-realtime-sft

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。