爬虫 Agent，把公司的社交媒体链接存进 Supabase

爬虫 Agent，把公司的社交媒体链接存进 Supabase

一个 n8n 工作流，从 Supabase 表里读公司名称和网址，再派一个 AI Agent 去每个网站。Agent 读首页，顺着找到的链接往下走，把公司的社交媒体主页链接按同一种 JSON 格式返回。最后一步把公司、网址和这些链接写进第二张 Supabase 表。

包里有什么

• workflow.json：n8n 导出的工作流，十二个会运行的节点、十六个没有连线的工具步骤副本和十张便签。里面没有任何凭据。
• README.md：这份设置说明，压缩包里的是英文版。

我们相对原来的副本改了什么

• OpenAI 和 Supabase 节点上的凭据关联已删掉，请选你自己的。
• 原来有一张便签指向作者的视频教程和订阅通讯，现在换成一段简短的设置说明：要添加的凭据、要建的两张表，以及关于没有连线的副本的一句话。
• JSON Parser 里的 schema 把 platforms 列为必填键，而没有任何属性叫这个名字。现在改成 social_media，这是 schema 里唯一定义的属性。
• 模型仍然是 gpt-4o。它的关停日期见“值得知道的”。
• 别的都没改。工具、提示词和表名都和原来一样。

开始之前

• 一个 n8n 实例，n8n Cloud 或自己的服务器都行。
• 一个能用 gpt-4o 的 OpenAI API 密钥。
• 一个 Supabase 项目，里面有两张表：
• companies_input，文本列 name 和 website，一家公司一行。
• companies_output，文本列 company_name 和 company_website，外加一个 jsonb 列 social_media。

设置

1. 在 Supabase 里建上面两张表，往 companies_input 里加几家公司。先只放两三行。
2. 在 n8n 里新建一个工作流，打开它的菜单，选 Import from File，选中 workflow.json。
3. 添加一个 OpenAI 凭据，在 OpenAI Chat Model 里选中它。
4. 添加一个 Supabase 凭据，填你项目的主机地址和 service role 密钥。在 Get companies 和 Insert new row 里选中它。
5. 点 Test workflow。Agent 会打开每家公司的网站，结果行会出现在 companies_output 里。
6. 打开 companies_output。每一行有公司名称、网址和 social_media，后者是一份平台及其 URL 的清单。

两个工具怎么工作

Agent 会调用两个工具。每个都是一个 Tool Workflow 节点，工作流就存在节点里面，所以不用另外保存或关联什么。每个工具只接收一个 query 字段，也就是完整的网站地址。

• Text（text_retrieval_tool）给没有协议的地址补上 http://，取回页面，把 HTML 转成不带链接和图片的 Markdown，再返回文字。
• URLs（url_retrieval_tool）取回页面，读每个 a 标签的属性。它丢掉没有 href 的标签，去掉重复，给以 / 开头的链接前面补上网站地址，只保留有效的 URL，再把标题和链接的清单当作文字返回。

画布上那十六个没有连线的节点，是这些步骤的画出来的副本，放在那里是让你看得到。工具运行的是存在它们自己节点里的内容。如果你要改某一步，请到工具的工作流里改，不要在画布上改。

一次运行的过程

1. Execute workflow 启动它。Get companies 从 companies_input 读行，Select company name and website 保留 name 和 website。
2. 每家公司分成两路。Map company name and website 把字段改名为 company_name 和 company_website。Crawl website（1.6 版，一个 Tools Agent）被要求取回这个网站的社交媒体主页 URL。
3. Agent 想用多少次 Text 和 URLs 就用多少次，然后按 JSON Parser 定义的形状作答：一份 social_media 清单，里面的对象有 platform 和一份 urls。
4. Set social media array 把这份清单复制到它自己的一个字段里。Merge all data 把它和映射后的名称、网址按顺序一条条合并，Insert new row 再把结果加进 companies_output。

改变样子

• 找什么：Crawl website 里的系统消息和提示词，以及 JSON Parser 里的 schema。两处要一起改。
• 模型：OpenAI Chat Model。
• 两张表：Get companies 和 Insert new row。n8n 有节点的任何数据库都可以替换它们。
• 从输入里读哪些字段：Select company name and website。

值得知道的

• 模型：OpenAI 的弃用页面（2026 年 11 月 12 日查阅）列出 gpt-4o-2024-08-06 和 gpt-4o-2024-11-20，关停日期是 2027 年 1 月 14 日，替代模型是 gpt-6-luna。页面没有单独列出 gpt-4o 这个名字。请在那一天之前到 OpenAI Chat Model 里换掉模型。
• Get companies 没有打开 Return All 开关，所以它读的是节点默认的上限 50 行。名单更长的话，打开 Return All，或者分批处理。
• 任何一个网站失败都会让整次运行停下，因为没有哪一步处理错误。Merge all data 按位置配对，所以别改动公司的顺序。
• 两个工具只发普通请求，读返回的 HTML。用 JavaScript 生成的页面，或者拦截自动请求的页面，给 Agent 的内容很少甚至没有。不以 / 开头又不是完整 URL 的链接会被丢掉。
• Agent 会请求它拼出来的任何地址，包括你内网里的，页面里也可能夹带想引导模型的文字。只抓取你有权读取的公开公司网站，遵守每个网站的规则，并让 n8n 实例远离内部地址。
• 每家公司要调用好几次 OpenAI，因为打开多少页由 Agent 决定。
• 页面文字会发给 OpenAI，表里的行留在你自己的 Supabase 项目里。