UI-TARS-1.5-7B

UI-TARS-1.5-7B

一个开放的多模态智能体模型，能读屏幕截图并决定在应用、浏览器、手机和游戏中做什么。适合构建电脑操作和图形界面自动化智能体的开发者。

由 ByteDance-Seed 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：UI-TARS-1.5-7B 是 ByteDance-Seed 的开放多模态智能体模型，建立在视觉语言模型之上。它会看屏幕，并在虚拟世界里完成任务，比如桌面应用、浏览器、手机和游戏。它用强化学习，在行动之前先对这一步进行推理。

适合谁：它适合构建根据屏幕截图操作图形界面的智能体的开发者和研究人员。作者说它在电脑、浏览器和手机任务以及玩游戏上表现不错。

Title: 谁在用
Industry | Who uses it | How they use it | Example
软件测试 | 测试工程师 | 让智能体根据截图点击操作应用 | 对一个 Windows 程序做检查
自动化 | 智能体开发者 | 用视觉模型驱动桌面或浏览器 | 一步步填写一个网页表单
AI 研究 | 研究人员 | 在共同的基准上评估图形界面智能体 | 比较 OSworld 和 Android World 的结果

只需要文字聊天机器人的人可以跳过它，因为它的长处是在屏幕上行动。

用在哪里：

• 使用 transformers 库的 Python
• 智能体控制的桌面、浏览器和手机环境
• 作者提供的 UI-TARS-desktop 应用
• Windows、macOS 或 Linux，用来下载文件

Title: 主要用途
Use case | Who | What they get back
电脑操作 | 智能体开发者 | 根据桌面截图选出的操作
浏览器操作 | 开发者 | 网页任务的步骤
手机操作 | 研究人员 | 针对安卓风格屏幕的操作
玩游戏 | 研究人员 | 浏览器游戏里的走法

如何设置：

• 你电脑上的 Python
• huggingface_hub 包
• 完整权重约需 33.2 GB 磁盘空间，按估计 4-bit 约 4.1 GB
• 一个发送截图并执行模型动作的智能体循环

1. 安装 Hugging Face 的 hub 包。
2. 把模型文件下载到你的电脑。
3. 把模型接入屏幕控制环境，比如作者的桌面应用。

pip install -U huggingface_hub
hf download ByteDance-Seed/UI-TARS-1.5-7B

如何使用：这里的模型卡文字没有给出自己的运行命令。你把一张截图和一个任务发给模型，它会先推理下一步，再行动。想要现成的前端，可以看作者的桌面应用。

Title: 模型卡中的在线基准
Benchmark | UI-TARS-1.5 | OpenAI CUA | Claude 3.7
OSworld，100 步 | 42.5 | 36.4 | 28
Windows Agent Arena，50 步 | 42.1 | 未列出 | 未列出
WebVoyager | 84.8 | 87 | 84.1
Online-Mind2web | 75.8 | 71 | 62.9
Android World | 64.2 | 未列出 | 未列出

示例：你给模型一张设置页面的截图，让它打开一个开关。它会思考看到的内容，然后说出要执行的操作。模型卡展示了这类工作的演示视频，但没有文字示例。

新手与专家：你可以把它想成一个能看到你屏幕、并建议下一步点击或按键的模型。第一次尝试可以下载文件，再用一张截图加一个简单任务跑一遍。

对于专家来说，作者把它一步步推理的能力归功于强化学习，这在推理时扩展上帮助最大。在定位测试上，模型卡列出 ScreenSpot-V2 为 94.2、ScreenSpotPro 为 61.6，高于它所展示的 OpenAI CUA 和 Claude 3.7 的数字。

对屏幕截图
连同任务发给模型
模型推理后选择操作
你的智能体循环执行操作

注意事项：

• Agent model: 它只提出操作，所以你需要提供执行这些操作的循环。
• Language: 记录里只列了英语。
• License: Apache 2.0。
• Cost to run: 来源未提及，8.3B 的模型需要性能足够的 GPU。
• Data it reaches: 它能看到你发送的截图，并从 Hugging Face 下载文件。
• Not for: 在你承受不起损失的账号或数据上无人看管地使用。

Title: OSworld 100 步得分
UI-TARS-1.5: 42.5 分
OpenAI CUA: 36.4 分
Claude 3.7: 28 分

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：8.3B
• Weights: about 33.2 GB in F32; about 4.1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：230,540
• 点赞：622
• 许可证：apache-2.0
• 语言：en
• Quantized versions: 13
• Fine-tunes: 12
• 标签：transformers, safetensors, qwen2_5_vl, image-text-to-text, multimodal, conversational

链接

• 模型：https://huggingface.co/ByteDance-Seed/UI-TARS-1.5-7B
• 文件：https://huggingface.co/ByteDance-Seed/UI-TARS-1.5-7B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ByteDance-Seed/UI-TARS-1.5-7B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。