Mindket

浏览器智能体是什么?替你点击、输入和浏览的 AI

黑色横幅,标题是“浏览器智能体”,下面是“替你点击、输入和浏览的 AI”。

浏览器智能体是替你操作网页浏览器的 AI。它读网页、点击、输入,在网站之间跳转,直到你描述的任务做完,再向你汇报。有的在你自己已登录的浏览器里运行,有的在另一个独立的浏览器里运行,有的是你自己运行的代码。它们都重复同一个循环:看网页,动手,再看网页。

本节内容

  • 把每件事写成“起始网页加一个一分钟内能核对的结果”,再交给表里的一个智能体。
  • 按任务需要哪些账号来选运行位置:公开网页用独立的配置,只有任务需要你登录时才用自己的浏览器。
  • 照着浏览器智能体教程操作之前,先看它的日期,因为 2026 年产品名称和菜单变过好几次。
  • 如果你会写代码,在一个可以随时删掉的文件夹里跑 browser-use 的四步快速入门。
全部课程
本页目录
  1. 浏览器智能体每一步做什么
  2. 获得浏览器智能体的五种方式
  3. 五步跑通第一个浏览器智能体
  4. 智能体怎样看网页:看图,还是看结构
  5. 名称变得很快,所以要看日期
  6. 常见错误
  7. 自己试一试
  8. 下一课:把浏览器任务交给 ChatGPT
  9. 自测一下
  10. 常见问题
  11. 资料来源

浏览器智能体每一步做什么

给浏览器智能体一个任务:“查一下 browser-use 仓库有多少颗星”。它会启动浏览器,打开搜索页或仓库页,读页面上的内容,再决定下一次点哪里。每个动作由语言模型选定,由一段小程序在真实的浏览器里执行,执行的结果再回到模型手里,模型据此选出下一个动作。

模型自己碰不到浏览器。OpenAI 的 computer use 指南讲了三种接法:模型拿到截图,回答鼠标和键盘动作;模型拿到网页文字和控件,当作函数工具来用;或者浏览器由厂商托管。产品用哪种接法,决定了智能体能看到什么,也决定了它容易在哪里出错。

如果“智能体”这个词对你还陌生,AI 智能体那一课讲了这个循环的一般情况。浏览器智能体,就是把浏览器当作其中一个工具的这种循环。

获得浏览器智能体的五种方式

每一行写出一个产品或项目,以及它的浏览器在哪里运行,依据是厂商自己的页面。前两种用平常的话下达任务,后三种适合写代码或改工具设置的人。

第 2 课用 ChatGPT agent 讲第一行,第 3 课讲最后一行。Playwright MCP 是一个 MCP 服务器,也就是给 AI 客户端接上一个工具的插头。MCP 那一课讲了客户端怎样连接它。

五种浏览器智能体,依据 2026 年 11 月 6 日读取的 OpenAI、Anthropic、browser-use 和 Playwright MCP 页面
类型例子浏览器在哪里运行你要做什么
内置在聊天应用里ChatGPT agentOpenAI 运行的远程可视浏览器在对话里描述任务,并回应它的确认请求
装在你自己浏览器里的扩展Claude in Chrome你自己的 Chrome安装扩展,然后给它一个任务
开源库browser-use本地浏览器,设置了密钥时也可以用云端浏览器写几行 Python,自带模型
MCP 服务器Playwright MCPPlaywright 浏览器,默认带可见窗口在 VS Code、Cursor 或 Claude Desktop 之类的 MCP 客户端里加一段 JSON
厂商 APIAnthropic 的 computer use 工具、OpenAI 的 computer 工具由你自己的代码控制的浏览器或桌面自己运行这个循环

五步跑通第一个浏览器智能体

看清这个循环最快的办法,是亲手跑一遍。Browser Use 是一个开源的 Python 库,它的 README 给出了一份很短的快速入门。你需要 Python 3.11 或更新的版本、uv 包管理器和一个 OpenAI API 密钥。示例里的 BROWSER_USE_API_KEY 那一行是可选的。模型调用由 OpenAI 计费,所以第一个任务要短。

import asyncio

from browser_use import Agent, Browser, ChatBrowserUse, ChatOpenAI
from dotenv import load_dotenv

load_dotenv()

async def main():
    llm = ChatOpenAI(model='gpt-5.6-luna', reasoning_effort='xhigh')
    # llm = ChatBrowserUse(model='bu-2-0')  # Use BU2 instead; requires BROWSER_USE_API_KEY
    agent = Agent(
        task="Find the number of stars of the browser-use repo",
        llm=llm,
        # browser=Browser(use_cloud=True),  # Use a cloud browser; requires BROWSER_USE_API_KEY
    )
    history = await agent.run()
    print(history.final_result())

if __name__ == "__main__":
    asyncio.run(main())
  1. 新建一个文件夹,在里面运行 uv init --python 3.12,再运行 uv add browser-use。
  2. 新建一个名为 .env 的文件,把密钥写进去:OPENAI_API_KEY=your-key。
  3. 把下面的代码保存为 agent.py。任务是一句话,写明一个你能核对的结果。
  4. 运行 uv run agent.py。README 说智能体会打开浏览器,查到这个仓库,并打印出它的答案。
  5. 自己打开仓库页面,把数字和智能体打印出来的对一对。

代码取自 browser-use 的 README,读取日期为 2026 年 11 月 6 日。两行被注释掉的代码可以换成 Browser Use 自己的模型或云端浏览器,这两样都需要 Browser Use 的 API 密钥。

智能体怎样看网页:看图,还是看结构

这三种接法归结为两种看网页的方式。截图型的智能体拿到一张图,回答的是坐标,就像你用手指着屏幕。结构型的智能体拿到的是文字形式的网页,每个按钮和链接都列在里面。Playwright MCP 属于后一种。它的 README 说,它通过无障碍快照来工作,不需要截图,也不需要视觉模型,还避开了截图方式容易产生的歧义。

Anthropic 的 browser use 示例也反对像素坐标,因为窗口大小一变,坐标就会失效。目标是桌面程序时,截图才是入口。OpenAI 的示例应用用 PyAutoGUI 控制桌面,Anthropic 的 computer use 示例则在 Docker 里控制一个 Linux 桌面。

三种方式分别把什么交给模型
Computer 工具(截图)浏览器函数(网页文字)Playwright MCP(快照)
模型看到屏幕的图像是部分部分
模型把网页当作文字或树来读否是是
能控制桌面程序,而不只是网页是否否
模型指向目标的方式x、y 坐标驱动程序开放的控件快照里的元素引用

来源:OpenAI: Computer use guide (2026年11月6日 查阅);microsoft/playwright-mcp README (2026年11月6日 查阅);anthropics/anthropic-quickstarts: browser use demo README (2026年11月6日 查阅)

名称变得很快,所以要看日期

OpenAI 在 2025 年 7 月推出了 ChatGPT agent,在 2025 年 10 月推出了它的 Atlas 浏览器。维基百科记录 Atlas 在 2026 年 8 月 9 日关停,ChatGPT Work 则在 2026 年 7 月推出。年初写的教程,可能还在讲一个已经不存在的菜单。时间线列出了本课程依据的几个带日期的变化。

浏览器智能体的变化,2024 年到 2026 年
  1. Anthropic 开放 computer use 公测

    Claude 3.5 Sonnet 可以通过 API 看屏幕、移动光标、点击和输入。

    来源:Anthropic: Computer use, Claude 3.5 Sonnet and Claude 3.5 Haiku (2026年11月6日 查阅)

  2. OpenAI 发布 ChatGPT agent 系统卡

    一个模型,带远程可视浏览器、终端和连接器。

    来源:OpenAI: ChatGPT agent system card (2026年11月6日 查阅)

  3. OpenAI 发布 macOS 版 ChatGPT Atlas

    基于 Chromium 的浏览器,付费套餐可以用它的智能体模式。

    来源:Wikipedia: ChatGPT Atlas (2026年11月6日 查阅)

  4. Claude for Chrome 从研究预览转为公测

    Anthropic 让 Max 套餐的所有用户都能用。

    来源:Anthropic: Mitigating prompt injections in browser use (2026年11月6日 查阅)

  5. OpenAI 推出 ChatGPT Work

    一个能依据已连接的应用和文件制作演示文稿、电子表格和文档的智能体。维基百科的 ChatGPT 条目只给出月份,没有具体日期。

    来源:Wikipedia: ChatGPT (2026年11月6日 查阅)

  6. Claude in Chrome 正式全面开放

    维基百科的 Claude 条目只给出月份,没有具体日期。

    来源:Wikipedia: Claude (AI) (2026年11月6日 查阅)

  7. ChatGPT Atlas 关停

    维基百科把这一天列为正式关停日。

    来源:Wikipedia: ChatGPT Atlas (2026年11月6日 查阅)

常见错误

  • 轻信智能体的最后一条消息。OpenAI 示例应用的 README 说,最终答案不能证明任务成功了,要去页面上核对。
  • 一上来就做花钱或发消息的任务。Anthropic 在 2024 年开放 computer use 时,建议开发者从低风险任务开始,而在公开网页上做只读任务,风险最低。
  • 为一个根本不需要账号的任务,交出你日常登录着的浏览器。
  • 指望验证码(网站用来确认你是真人的小测试)被自动解开。browser-use 的 README 说,没有哪种浏览器配置能保证每个验证码都能避开或解开。
  • 照着教程里的菜单名操作,却没有对照厂商现在的文档,核对教程的日期。

自己试一试

  • 把你每周都要在浏览器里做的一件事,写成“起始网页加一个结果”,比如打开一家店的配送页面,报出免运费的门槛。
  • 在表里找到这件事:你会先试哪一种?它需要用到你的哪些账号?
  • 用你自己的任务,在一个公开网页上跑 browser-use 的快速入门,再把它的答案和网页对一对。
  • 找出你以前用过的一篇浏览器智能体教程的日期,核对它里面的菜单名,在厂商现在的文档里还找不找得到。

下一课:把浏览器任务交给 ChatGPT

在 ChatGPT agent 教程里,第 2 课依据 OpenAI 的系统卡,把一个浏览器任务交给 ChatGPT agent,从写任务讲到审批提示。

自测一下

  1. 在每个浏览器智能体都会重复的循环里,模型要求的那一下点击,是谁来执行的?

    查看答案

    B. 在浏览器里执行动作的一段程序 OpenAI 的 computer use 指南里,是应用来执行模型的动作,再把新的屏幕交回去。

  2. Playwright MCP 用哪种方式看网页?

    查看答案

    C. 结构化的无障碍快照 它的 README 说它通过无障碍快照工作,不需要截图,也不需要视觉模型。

  3. 你想让 Playwright MCP 在一个你已经登录的网站上工作。它的 README 给了哪种办法?

    查看答案

    A. Playwright MCP 的浏览器扩展 它的 README 说,Playwright MCP 扩展能连上现有的标签页和已登录的会话,而 isolated 模式把配置保存在内存里。

  4. browser-use 的快速入门打印出了一个星标数。下一步该做什么?

    查看答案

    D. 打开仓库页面,把数字对一对 OpenAI 示例应用的 README 说,最终答案不能证明任务成功,所以要自己去页面上核对。

常见问题

浏览器智能体是什么?

可以把它想成一个像你一样坐在浏览器前的 AI:看页面,点击或输入,再看,直到完成你描述的任务。ChatGPT agent 这类产品,在完成购买或发送邮件之类的某些操作之前,会先停下来问你。

浏览器智能体和聊天机器人有什么区别?

聊天机器人用文字回答。浏览器智能体会动手:它打开网页、点击、输入,还可能改动它访问的网站上的内容,所以审批提示和访问范围的限制才这么重要。

Playwright MCP 算浏览器智能体吗?

它自己不算。它提供浏览器工具,做决定的是 MCP 客户端里的模型。它的 README 还写明,它不是安全边界。

浏览器智能体能用我已经登录的账号吗?

有的可以。Playwright MCP 默认把登录信息保存在一个持久配置里,它的浏览器扩展还能连上你现有的标签页和已登录的会话。这种做法的风险,第 4 课会讲。

用浏览器智能体需要会写代码吗?

不需要。给 ChatGPT agent 或 Claude in Chrome 下任务,就像给同事发消息一样。写代码是从 browser-use、Playwright MCP 和厂商 API 开始的。

资料来源

  1. OpenAI: Computer use guide (2026年11月6日 查阅)https://developers.openai.com/api/docs/guides/tools-computer-use
  2. OpenAI: ChatGPT agent system card (2026年11月6日 查阅)https://deploymentsafety.openai.com/chatgpt-agent
  3. openai/openai-cua-sample-app README (2026年11月6日 查阅)https://github.com/openai/openai-cua-sample-app
  4. browser-use/browser-use README (2026年11月6日 查阅)https://github.com/browser-use/browser-use
  5. microsoft/playwright-mcp README (2026年11月6日 查阅)https://github.com/microsoft/playwright-mcp
  6. anthropics/anthropic-quickstarts: computer use demo README (2026年11月6日 查阅)https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo
  7. anthropics/anthropic-quickstarts: browser use demo README (2026年11月6日 查阅)https://github.com/anthropics/anthropic-quickstarts/tree/main/browser-use-demo
  8. Anthropic: Computer use, Claude 3.5 Sonnet and Claude 3.5 Haiku (2026年11月6日 查阅)https://www.anthropic.com/news/3-5-models-and-computer-use
  9. Anthropic: Mitigating prompt injections in browser use (2026年11月6日 查阅)https://www.anthropic.com/research/prompt-injection-defenses
  10. Wikipedia: ChatGPT Atlas (2026年11月6日 查阅)https://en.wikipedia.org/wiki/ChatGPT_Atlas
  11. Wikipedia: ChatGPT (2026年11月6日 查阅)https://en.wikipedia.org/wiki/ChatGPT
  12. Wikipedia: Claude (AI) (2026年11月6日 查阅)https://en.wikipedia.org/wiki/Claude_(AI)

分享本节课

运行之前先读一读的智能体

浏览 Mindket 上的智能体,每个都有预览,看看拥有几样工具的模型能做什么。

浏览智能体

本节课的 Markdown 版本 · 浏览器智能体:替你点击、输入和浏览的 AI · 全部课程