Crawl4AI 开源网页爬虫

它是什么

Crawl4AI 是一个开源的网页爬虫和抓取工具，给大语言模型和 AI 智能体用。你给它一个网址，它用无头浏览器加载页面，交回干净的 Markdown，或者按你定义的结构交回 JSON。README 说你可以自己运行它，永久免费。它有三种形态：Python 库、一个叫 crwl 的命令，以及带 REST API 的 Docker 服务器。README 还介绍了 Crawl4AI Cloud，这是一个托管服务，有自己的账号和价格。这个条目讲的是你自己运行的那几部分，只在制作方给出智能体配置命令的地方提到云服务。

1. 你给它一个网址，或者一段原始 HTML
2. 无头浏览器加载这个页面
3. 可选的过滤器去掉菜单、页脚和样板文字
4. 你拿到 Markdown，或按你定义的 schema 生成的 JSON
5. 你的 RAG 流程或智能体读取结果

适合谁

要把网页交给模型的开发者。比如 RAG 流程、会读网页的智能体，以及要把页面里的文字和表格变成干净 Markdown 的数据任务。Python 库和 crwl 命令需要 Python 3.10 或更高版本和终端；Docker 服务器只需要 Docker。Docker 服务器适合想让各个应用通过 HTTP 调用同一个爬虫的团队。如果你只想读一个页面、读一次，就不必用它，手动复制文字更快。

用在哪里

Crawl4AI 放在哪里就在哪里运行，制作方的页面列出了这些途径。

• Python 环境里，作为你导入的库
• 终端里，通过 crwl 命令
• AMD64 或 ARM64 上的 Docker 容器，放在你的电脑或服务器上
• Claude Code，通过 Docker 服务器的 MCP 端点
• Crawl4AI Cloud 托管服务，通过 MCP 在 Claude Code、Codex、Cursor、Windsurf、OpenCode、OpenClaw、Claude Desktop 和 ChatGPT 里使用

README 说它能驱动 Chromium、Firefox 和 WebKit。

如何设置

点“获取”会把一个装有 Mindket 安装说明的 zip 压缩包存进你的下载文件夹，里面有库、命令行、Docker 服务器、示例脚本和每个智能体各一份文件。主要途径是 pip。

1. 从 PyPI 安装这个包。
2. 运行 crawl4ai-setup。它会装一次浏览器。
3. 运行 crawl4ai-doctor 检查安装。
4. 把 README 的第一个脚本存成文件。再用 python 运行它。

pip install -U crawl4ai
crawl4ai-setup
crawl4ai-doctor

如果浏览器装不上，README 给了一行手动安装的命令：

python -m playwright install --with-deps chromium

README 的第一个脚本会把一个页面打印成 Markdown。

import asyncio
from crawl4ai import AsyncWebCrawler

async def main():
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(url="https://news.ycombinator.com")
        print(result.markdown)

asyncio.run(main())

如何使用

Crawl4AI 有三种运行方式。

crwl 命令用 -o 选择输出格式。深度爬取也用这个命令。

crwl https://news.ycombinator.com -o markdown
crwl https://docs.crawl4ai.com --deep-crawl bfs --max-pages 10

第二行按广度优先爬取制作方自己的文档，爬到 10 页就停。

Docker 服务器需要一个令牌。没有令牌时，它只在容器内部应答，所以即使 Docker 显示容器状态健康，你映射出来的端口也会重置连接。先生成令牌，再启动容器，等大约 10 秒。

export CRAWL4AI_API_TOKEN="$(openssl rand -hex 32)"
docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g \
  -e CRAWL4AI_API_TOKEN="$CRAWL4AI_API_TOKEN" \
  unclecode/crawl4ai:latest

然后发送 README 里的测试请求。

curl -s http://localhost:11235/md \
  -H "Authorization: Bearer $CRAWL4AI_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://news.ycombinator.com"}' | jq -r .markdown

在 Python 里，设置放在两个类中。BrowserConfig 管浏览器。CrawlerRunConfig 管每一次爬取：缓存、提取、超时和钩子。快速入门说默认的缓存模式是绕过缓存，所以你拿到的是最新内容。

示例

你想把 quotes.toscrape.com/scroll 上的每条名言取成 JSON。这个页面要往下滚才会加载更多名言，所以 README 的脚本把 scan_full_page 设为 True，并用一个 CSS schema 描述一个名言块。

schema = {
    "name": "Quotes",
    "baseSelector": "div.quote",
    "fields": [
        {"name": "text", "selector": "span.text", "type": "text"},
        {"name": "author", "selector": "small.author", "type": "text"},
        {"name": "tags", "selector": "a.tag", "type": "list", "fields": [{"name": "tag", "type": "text"}]},
    ],
}

脚本把 JsonCssExtractionStrategy(schema) 放进运行配置，然后打印提取到多少条名言，再把第一条以 JSON 打印出来。整个过程不调用模型。README 的 LLM 例子改用 LLMExtractionStrategy、一个模型名（openai/gpt-4o-mini）和一个 Pydantic schema，在定价页上提取，这时页面文字会发给那个模型。

新手与专家

新手：爬虫负责访问网页，抓取器负责从网页里读出数据。原始 HTML 里满是菜单、脚本和标签，模型读起来很吃力。Markdown 用纯文本保留标题、列表、表格和代码。RAG 指的是模型根据你交给它的段落来回答。schema 是一份简短的说明，写清你要从页面里取哪些字段，比如标题、链接和价格。在动任何设置之前，先用第一个脚本试一个页面，或者用 crwl 加一个网址试试。

专家：Markdown 结果有原始版和 fit 版两种。fit 版会经过一个内容过滤器，README 列出了 PruningContentFilterLXML、针对查询的 BM25ContentFilter 和 LLMContentFilter。提取既有不用 LLM 的策略（JsonCssExtractionStrategy、JsonXPathExtractionStrategy 和 RegexExtractionStrategy），也有 LLMExtractionStrategy，后者可以用 LiteLLM 支持的任何服务商。

调用一次 generate_schema，让 LLM 写出一份可复用的 CSS schema，之后的运行就不再需要模型。深度爬取有广度优先、深度优先和最佳优先三种策略，Deep Crawling 页面把最佳优先标为推荐。resume_state 能让一次很长的爬取在崩溃后接着跑。AdaptiveCrawler 学到足够回答你问题的内容就会停下，arun_many 则用一个按内存自动调节的调度器同时跑很多 URL。

从 0.9.0 起，Docker 服务器默认就是安全的。除了 GET /health，每个端点都需要 bearer 令牌。截图或 PDF 会直接随响应返回，同时附带一个 artifact id；存下的文件要带着令牌从 /artifacts/<artifact_id> 下载，保存时间有限。钩子默认关闭，设置 CRAWL4AI_HOOKS_ENABLED=true 才会开启，而且它们是声明式的 JSON 动作，不是 Python 代码。

服务器的 MCP 端点有两个：走 Server-Sent Events 的 /mcp/sse，和走 WebSocket 的 /mcp/ws。它们提供的工具有 md、html、screenshot、pdf、execute_js、crawl 和 ask。

注意事项

Crawl4AI 在你自己的电脑上运行，有几处细节最好先读一下。

• 许可证：Apache-2.0，GitHub 标的也是它。LICENSE 文件末尾加了一条署名要求，所以分发、出版和公开使用都必须带上制作方的署名行。README 还要求，使用时必须带上两种署名之一：一个徽章或一行文字
• 云服务：Crawl4AI Cloud 是另一个托管服务，有自己的账号、密钥和价格。制作方的页面说，你的云密钥能调用计费接口，其中包括充值，所以要想清楚是否让智能体拿着它
• 你的数据：一次爬取会连接你给它的网址。LLM 提取会把页面文字发给你选的模型，除非那个模型就在你的电脑上运行。README 和 Mindket 说明所依据的文档页面都没有提到使用数据
• 爬取规则：Deep Crawling 页面说要遵守 robots.txt，并注明这项默认是关闭的。undetected browser 页面说要遵守每个网站的服务条款，并设置延时。大规模爬取之前，先看看网站的规定
• 旧页面：安装页面的标题是 2023 Edition，里面的 Docker 标签也是旧的。README 和 Self-Hosting Guide 更新，所以说明以它们为准
• MCP 和令牌：指南里给你自己服务器的 MCP 命令没有带令牌，也没说这些端点怎么接收令牌。添加之后检查一下连接
• 卸载：文档没有给出卸载步骤。Mindket 的说明为这个包补上了 pip uninstall crawl4ai，指南则给出 docker stop crawl4ai 和 docker rm crawl4ai 来移除容器