Mage-VL-Cowork

Mage-VL-Cowork

用一个约 4B 参数的小型视觉语言模型，根据截图和终端命令来操作电脑，由 Microsoft 开发，适合构建或研究电脑操作智能体的人。

由 microsoft 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Mage-VL-Cowork 是 Microsoft 推出的约 4B 参数视觉语言模型。它读取截图，再决定在屏幕上点击还是在终端里运行代码。它从 Mage-VL 的一个中间检查点训练而来，两种操作都由同一个策略完成，不需要外部路由器。输入是图片和文字，输出是文字。

适合谁：它适合构建或研究电脑操作智能体的研究人员和工程师，也适合想要一个小模型做本机运行的团队。

Industry | Who uses it | How they use it | Example
AI 研究 | 智能体研究人员 | 研究一个小策略如何在点击和写代码之间做选择 | 在桌面任务上与更大的电脑操作模型做对比
软件 | 智能体开发者 | 构建能编辑文件并操作应用的桌面助手 | 原型先用代码填写表格，再看屏幕确认
教育 | 实验课讲师 | 讲解电脑操作智能体如何训练 | 课堂上一起阅读模型卡和技术报告
IT 自动化 | 自动化团队 | 在办公流程里试用本地小模型 | 试做文档、表格和演示文稿的编辑

只需要聊天模型或图片描述模型的人可以跳过它。

用在哪里：

• 用 transformers 库加载模型的 Python 项目
• 你下载文件的 Windows、macOS 或 Linux 电脑
• 给模型提供截图工具和终端工具的智能体环境

Use case | Who | What they get back
桌面任务自动化 | 智能体开发者 | 根据每张截图选出的点击和输入操作
表格和文档编辑 | 开发者 | 直接修改文件的终端命令，省去大量点击
小模型研究 | 研究人员 | 一个可与更大电脑操作模型对比的 4B 模型

如何设置：

你需要先准备：

• Python 和 pip
• 存放权重的磁盘空间，BF16 约 9.5 GB，4-bit 约 2.4 GB（估算）
• 一个给模型提供截图并执行其操作的包装程序，因为模型本身只输出文字

1. 安装 Hugging Face hub 包。
2. 把模型文件下载到你的电脑。
3. 按模型卡的说明用 transformers 加载模型。

pip install -U huggingface_hub
hf download microsoft/Mage-VL-Cowork

如何使用：每一轮你给模型一张截图和任务。它用两个工具之一给出操作，由你的包装程序去执行。具体运行方式在模型卡里。

Tool | What it does
computer_use | 针对看得见的内容操作，比如版面、画布编辑和应用的实时状态
bash | 在终端里运行代码，处理表格、文档和演示文稿，并检查结果

示例：你可以让它“在打开的表格里加一行合计”。按模型卡的描述，它大概会用终端命令写入单元格，在新截图上检查结果，只有屏幕才能确认的地方才去点击。

新手与专家：它是一个小模型，既能看电脑屏幕，也能输入命令。第一步可以先运行上面两条下载命令，再读模型卡里的加载示例。

从内部看，训练分五个阶段，从各自独立的技能走向一个统一的策略。推演之前，教师模型的工具集被精简过。随后一个叫 Mage-CUA-Forge 的合成引擎生成了 293,806 个任务，覆盖 6,915 项原子技能。在线强化学习比监督式混合阶段多了 10.16 个百分点，并把模型调用次数减少了 13.0%。报告的分数使用 50 步预算。

任务和截图输入
模型选择点击或终端工具
操作在电脑上执行
下一张截图或输出返回

注意事项：下面的分数来自项目自己在 OSWorld-Verified 上的报告。

Title: OSWorld-Verified 50 步预算下的成功率
总体: 66.0 %
操作系统任务: 87.5 %
多应用工作流: 62.7 %

• 规模: Hugging Face 列出 4.7B 参数，格式为 Safetensors，模型使用英语
• 其他版本: 列出了其他人做的 7 个量化版本和 2 个微调版本
• License: Apache 2.0
• Cost to run: 未提及，硬件由你自己提供
• Data it reaches: 你给它的截图，以及你连接的电脑或终端上的内容

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：4.7B
• Weights: about 9.5 GB in BF16; about 2.4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：4,226
• 点赞：222
• 许可证：apache-2.0
• 语言：en
• 基于：microsoft/Mage-VL
• Quantized versions: 8
• Fine-tunes: 2
• 标签：transformers, safetensors, llava_onevision2, multimodal, vision-language-model, computer-use, hybrid-agent, gui-agent, coding-agent, terminal-agent, reinforcement-learning, osworld

链接

• 模型：https://huggingface.co/microsoft/Mage-VL-Cowork
• 文件：https://huggingface.co/microsoft/Mage-VL-Cowork/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download microsoft/Mage-VL-Cowork

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。