Scrapling

Scrapling

这是一个集快速 HTTP 请求、浏览器自动化与数据解析于一体的 Python 网络爬虫框架。它包含一个 MCP 服务器，能让 AI 智能体完成数据收集、JavaScript 渲染及并发爬取任务管理。

由 GitHub 上的 D4Vinci 开发。这些说明来自 Minda，根据其 README 编写；项目的具体文件和许可协议请查阅其仓库。

About

What it is: Scrapling 是一个 Python 网络爬虫框架。它将快速 HTTP 请求、无头浏览器、解析工具和并发爬取功能整合在一个库中。你可以抓取静态页面、渲染 JavaScript、与网站交互并从后端 API 调用中提取数据。

Who it suits: 该框架非常适合需要进行数据抓取或构建联网 AI 智能体的开发者。

Where to use it:

• Python 脚本
• 终端环境
• AI 智能体

How to set it up:

1. 安装该软件包。
2. 在你的代码中初始化爬虫或抓取工具实例。
3. 定义你的抓取逻辑。

How to use it: 你可以使用 fetcher 类进行 HTTP 请求，或创建爬虫来管理并发任务。该库包含用于站点地图爬取、链接追踪和数据提取的模板。

For newcomers and experts: 如果你是初学者，可以先从抓取单个页面并打印其文本内容开始。有经验的用户可以构建支持并发抓取、自动重试以及暂停或恢复功能的爬虫。

Good to know:

• 支持异步执行以实现并发。
• 处理浏览器 TLS 指纹识别和 HTTP/3。
• 包含自动重试和被封禁请求检测功能。
• 将数据导出为 JSON、JSONL、CSV 和 XML 格式。
• 遵循 robots.txt 指令。

On GitHub, 4 November 2026

• Stars: 94,938 (1,658 that day)
• Forks: 9,956
• Watching: 333
• Open issues and pull requests: 6
• Language: Python
• License: BSD-3-Clause
• Topics: ai, ai-scraping, automation, crawler, crawling, crawling-python, data, data-extraction, mcp, mcp-server, playwright, python
• Trending: #2 repository of the week on GitHub trending (4 November 2026)

Links

• Code: https://github.com/D4Vinci/Scrapling
• Website: https://scrapling.readthedocs.io/en/latest/
• Releases: https://github.com/D4Vinci/Scrapling/releases
• Issues: https://github.com/D4Vinci/Scrapling/issues
• Star history: https://www.star-history.com/#D4Vinci/Scrapling&Date

Intro videos

• Bypass Cloudflare's Turnstile with Claude for free with Scrapling mcp server | AI | Web Scraping: https://www.youtube.com/watch?v=qyFk3ZNwOxE

Get the code

git clone https://github.com/D4Vinci/Scrapling.git

然后按照其 README 中的设置进行操作。此工具包中的内容无法独立运行。