用 OpenAI 通过 webhook 把网页变成结构化 JSON

用 OpenAI 通过 webhook 把网页变成结构化 JSON

一个 n8n 工作流，把一个网址变成结构化数据。调用者发一个 POST 请求，写明要读的页面和要找的字段。工作流检查这个地址，下载页面，把它剥成纯文本，再请 OpenAI 把这些字段挑出来。回复是 JSON。

包里有什么

• workflow.json：n8n 导出的工作流，五个干活的节点、一个 webhook 和一张便签。里面没有任何凭据。
• README.md：这份设置说明，压缩包里的是英文版。

我们相对原来的副本改了什么

• webhook 现在要求调用者带一个 Header Auth 密钥。原来的副本没有任何检查，所以谁找到它的地址，就能让你的 n8n 去取页面。路径也从产品名改成了 extract-page-data。
• Validate 现在会拒绝不是 http 或 https 的地址，也会拒绝写成私有名字或数字的主机（localhost、10.x.x.x、192.168.x.x、172.16.x.x 到 172.31.x.x、127.x.x.x、169.254.x.x、.local、.internal）。
• 原来的副本里，OpenAI 这一步被存成了较老的 OpenAI 节点类型，用的却是这个类型没有的版本号，带着新节点的设置，n8n 照原样加载不了。Mindket 的版本用的是现在的 OpenAI 节点 Message a model（版本 1.8），两条消息不变，并打开了 JSON 输出。
• 模型从 gpt-4o-mini 换成了 gpt-6-luna，因为 OpenAI 的弃用页面（2026 年 11 月 12 日读取）写着 gpt-4o-mini 将在 2027 年 1 月 14 日停用，并指明 gpt-6-luna 是它的替代品。
• 去掉了温度（0.2）和 800 个令牌的上限。这个模型的页面没有列出温度，而推理令牌会占用一个小上限。
• 请求头 User-Agent 现在是 Mozilla/5.0 (compatible; PageDataReader/1.0)，便签也重写了。

开始之前

• 一个 n8n 实例，n8n Cloud 或自己的服务器都行。
• 一个 OpenAI API 密钥。
• 一串你自己的长随机值，用于 Header Auth 凭据。

设置

1. 在 n8n 里新建一个工作流，打开它的菜单，选 Import from File，选中 workflow.json。
2. 创建一个 Header Auth 凭据，头名称填 X-API-Key 这类名字，值填一长串随机内容。在 Scrape URL 里选上它。
3. 打开 AI: Extract Data，添加带你的密钥的 OpenAI 凭据，并确认 Model 是 gpt-6-luna。
4. 在 Scrape URL 里点 Listen for test event。向测试地址发一个 POST 请求，带上你的头和一个像 {"url": "https://example.com"} 这样的正文。
5. 保存工作流并点 Publish。真正的调用发到生产地址，也就是带 /webhook/ 的那个。

一次运行是怎么走的

1. Scrape URL（Webhook 2）接收 POST 请求并检查请求头密钥。它稍后由 Respond 作答。
2. Validate（Code）从正文里读 url、extract_fields（默认 price,features,description）和 name，并拒绝有问题的或私有的地址。
3. Fetch Page（HTTP Request 4.2）用 GET 请求下载页面，超时 20 秒。
4. Extract Text（Code）去掉脚本、样式和标签，保留前 4,000 个字符。
5. AI: Extract Data（OpenAI 1.8，Message a model）请 gpt-6-luna 给出带 title、description、extractedData、statistics 和 sentiment 的 JSON。
6. Respond（Respond to Webhook 1.1）把 message.content，也就是解析好的 JSON，送回给调用者。

想要不同的效果，改这里

• 要找的字段：请求里的 extract_fields，或者 Validate 里它的默认值。
• 回复的结构：AI: Extract Data 系统消息里的 JSON 结构。
• 模型：AI: Extract Data 里的 Model。
• 读多少页面内容：Extract Text 里在 4,000 个字符处的截断。

需要知道的

• 请把请求头密钥保密：这个 webhook 会取回调用者发来的任何公开地址。指向私有地址的公开域名，或者跳转到私有地址，Validate 拦不住。
• 靠脚本补充内容的页面，或者在登录后面的页面，回来的内容几乎是空的。
• 在 Respond 之前失败的运行，会让调用者收到 n8n 的错误，而不是 JSON。
• 网站对自动读取各有自己的规定。把工作流对准某个网站之前，先看看它的条款。
• 每次调用是一次由 OpenAI 计费的模型请求，页面文字会发给 OpenAI。