用 Firecrawl 把网页变成 Markdown 和链接清单

用 Firecrawl 把网页变成 Markdown 和链接清单

一个把网址清单变成 Markdown 的 n8n 工作流。对每个网址，它向 Firecrawl 要这个页面的 Markdown，外加页面的标题、描述和链接。它分批处理清单，批与批之间暂停，以遵守速率限制。

包里有什么

• workflow.json：n8n 导出的工作流，17 个节点，其中七个是便签。里面没有任何凭据。一张便签是带设置步骤的长概览，其余的是关于限制和你必须填写的部分的简短提示。
• README.md：这份设置说明，压缩包里的是英文版。

我们相对原来的副本改了什么

• HTTP Request 节点原来关联着作者 n8n 里的一个凭据。这个关联已删掉，请选你自己的。
• Retrieve Page Markdown and Links 原来调用的是 Firecrawl 第 1 版的地址，Firecrawl 会在 2026 年 12 月 10 日关掉它。现在它调用 https://api.firecrawl.dev/v2/scrape。请求正文没变。
• Markdown data and Links 现在还会在一个叫 url 的字段里返回页面的网址，所以每一行都说明它来自哪个页面。links 字段原来把列表变成一段文字，末尾还有一个多余的空格。现在它一行放一个链接。
• Wait 节点原来只有数值。现在它的单位明确写成秒。
• 两个示例网址中，有一个是原作者自己的站点。现在它是 https://example.com/。
• 那张长便签原来点了作者和一个网站。它已重写，设置步骤不变，HTTP Request 节点旁边的便签现在说明密钥要写在 Bearer 这个词后面。
• 别的都没改。

开始之前

• 一个 n8n 实例，n8n Cloud 或自己的服务器都行。
• 一个 Firecrawl 账号和它的 API 密钥。免费套餐不需要银行卡。
• 一份网址清单，放在一个叫 Page 的列里，每行一个，或者用文件里的两个示例。
• 一个放结果的地方。工作流结束在一个空节点里，你在那里接上自己的存储。

设置

1. 在 n8n 里新建一个工作流，打开它的菜单，选 Import from File，选中 workflow.json。
2. 在 n8n 里添加一个 Header Auth 凭据。名字设为 Authorization，值是 Bearer 这个词、一个空格，再加你的 API 密钥。在 Retrieve Page Markdown and Links 里选中它。
3. 在 Example fields from data source 里，把两个网址换成你自己的。要从表格或数据库里读，就把那个节点接到 Get urls from own data source，并给它一个 Page 列。
4. 在 Connect to your own data source 后面接上你自己的存储。Google Sheets、Airtable 或数据库节点都行。
5. 点 Execute workflow，到你的存储里看结果行。

一次运行的过程

1. When clicking ‘Test workflow’ 启动运行，Get urls from own data source 是一个空节点，你自己的清单从这里接入。
2. Example fields from data source 存着一个叫 Page 的清单，Split out page URLs 为每个网址生成一项。
3. 40 items at a time 保留前 40 项。10 at a time 取其中十项。
4. Retrieve Page Markdown and Links 为这十个各调用一次 Firecrawl，要 Markdown 和链接。
5. Markdown data and Links 保留每个回复的页面网址、标题、描述、Markdown 正文和链接。
6. Connect to your own data source 是你存放结果行的地方。然后 Wait 暂停 45 秒，10 at a time 取下一个十项。
7. 没有网址剩下时，运行就结束。

改变风格

• 读哪些页面：Example fields from data source 里的清单，或你自己的来源。
• 一次运行读多少个：40 items at a time 的 Max Items 值。
• 一次发给 Firecrawl 多少个、等多久：10 at a time 的批量和 Wait 里的数值。
• 每个页面保留什么：Markdown data and Links 的字段。
• 结果行去哪里：Connect to your own data source 后面的节点。

注意事项

• 旧地址：Firecrawl 的文档（2026 年 11 月 12 日查阅）说，第 1 版的 scrape、crawl、search、map 和账户端点会在 2026 年 12 月 10 日停用，之后返回 HTTP 410。Mindket 的副本用第 2 版，它在 Authorization 头里接收 Bearer 密钥。
• 限制：Firecrawl 的文档列出，免费套餐每月 1000 个额度、2 个并发请求、每分钟 10 个 scrape 请求。Hobby 套餐按年付费每月 16 美元，按月付费 19 美元，有 5000 个额度、每分钟 100 个 scrape 请求。每批 10 个、停 45 秒适合免费套餐。一次普通的 scrape 花一个额度。
• 一次只有 40 个：40 items at a time 会丢掉前 40 个之后的所有网址。如果你的服务器内存够，就调大这个数，或者把清单分段运行。
• 一个坏页面：Firecrawl 取不到的页面会让 HTTP 节点失败，这会停下整个运行。已经交出去的页面仍留在你的存储里。
• 什么都没存：工作流结束在一个空节点里。接上存储之前，结果行只存在于这次运行里。
• 读取一个网站之前，先查它的服务条款。
• 你的数据：网址会发给 Firecrawl，由它去取页面。
• 没运行过：这里没有对 Firecrawl 运行过任何东西。这些说明来自文件、n8n 的源码和 Firecrawl 的文档（2026 年 11 月 12 日查阅）。