Mage-VL

Mage-VL

Microsoft 推出的图像和视频多模态模型，像视频编码器存储视频那样读取视频，只保留变化的图块。适合做视频理解和流式处理的开发者和研究者。

由 microsoft 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Mage-VL 是 Microsoft 推出的用于理解图像和视频的多模态模型。它的视觉编码器在 4B 规模上从零训练，读取视频的方式就像视频编码器存储视频一样。它保留锚点帧的全部图块，对预测帧只保留发生变化的图块，这使视觉令牌减少了 75% 以上。一个小型的门控决定完整模型什么时候该开口。

适合谁：适合处理视频、长片段或直播流、并且在意速度的开发者和研究者。模型卡声称，相比同规模的 Qwen3-VL-4B，它在视频和时间定位基准上表现更好。

Title: 谁会用它
Industry | Who uses it | How they use it | Example
视频分析 | 流媒体工具开发者 | 盯着视频流，只对值得汇报的事件作出反应 | 常规画面时模型保持安静，有事发生时才反应
媒体 | 视频团队 | 在片段里找到所描述事件发生的时刻 | 在一段长录像里定位精彩片段
研究 | 多模态研究者 | 研究基于编码器的令牌化 | 与均匀抽帧相比较令牌用量

如果你只需要给静态图片写描述，可以跳过它，因为它的主要强项是视频。

用在哪里：Hugging Face 的记录列出了 transformers 库，所以 Python 是主要的使用场所。它通过一个统一接口处理图像、短视频和长视频以及视频流。

• Python 加 transformers 库
• Windows、macOS 或 Linux 加 Python，用来下载文件
• 能提供编码器数据的视频和流式处理管线

Title: 它能做的事
Use case | Who | What they get back
图像理解 | 开发者 | 关于图片的文字回答
视频问答 | 分析师 | 关于片段的文字回答，无论长短
流式提醒 | 工具构建者 | 只有当值得汇报的事件结束时才给出回应

如何设置：你需要带 pip 的 Python 和 transformers 库。BF16 的权重约 9.5 GB，所以先检查内存。模型卡能看到的部分只给了下载步骤，没有代码，所以加载请按模型卡操作。

• 带 pip 的 Python
• transformers 库
• 约 9.5 GB BF16 权重所需的内存

1. 安装 Hugging Face 的下载工具。
2. 把模型文件下载到你的电脑。
3. 按模型卡的说明，通过 transformers 加载模型。

pip install -U huggingface_hub
hf download microsoft/Mage-VL

如何使用：给模型一张图像、一段视频或一个视频流，再加一个文字问题。对于视频流，轻量的门控会观察每个滚动窗口，只有当值得回应的事情结束时才调用完整模型。模型卡没有给出相关命令，所以请依据它自己的说明。

示例：你让模型处理一段长视频，并让它找出所描述事件发生的位置。模型卡报告说，在这类答案是某个时间点的任务上，它相对同规模模型的提升最大。

新手与专家：如果你是新手，可以把它想成一个像视频文件存储方式那样看视频的模型，所以它会跳过片段里几乎不变的部分。先用一段短视频和一个清楚的问题试试。

如果你熟悉这个领域，它用一个小型两层投影器把 Mage-ViT 编码器和 Qwen3-4B 解码器配在一起。Mage-ViT 工作在共享的 16 乘 16 图块网格上，既接受传统编码器的数据，也接受神经编码器学到的码率图。取舍是整套方案依赖编码器派生的令牌。

视频流到来
分开锚点帧和预测帧
Mage-ViT 保留重要的图块
Qwen3-4B 解码器读取令牌
门控决定何时回答

注意事项：模型卡报告的速度和准确度数字来自单个 8 by B200 节点。它相对 Qwen3-VL-4B 的提升，是在语言骨干同为 4B、只替换视觉编码器的条件下得到的。

Title: 相对 Qwen3-VL-4B 的提升，单位为分
QVHighlight: 22.5 points
ActivityNet: 17.1 points
VSI-Bench: 11.0 points
VideoEval-Pro: 24.5 points

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 来自 Hugging Face 的模型文件，以及你给它的图像和视频
• Not for: 需要模型卡没有给出的加载方法的工作，因为它能看到的部分没有代码

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：4.7B
• Weights: about 9.5 GB in BF16; about 2.4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：5,912
• 点赞：454
• 许可证：apache-2.0
• Quantized versions: 14
• Fine-tunes: 4
• 标签：transformers, safetensors, mage_vl, image-text-to-text, multimodal, vision-language-model, mage-vl, video-understanding, streaming, conversational

链接

• 模型：https://huggingface.co/microsoft/Mage-VL
• 文件：https://huggingface.co/microsoft/Mage-VL/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download microsoft/Mage-VL

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。