Scrapling 自适应爬虫框架源码

这套源码是一套 Python 网页抓取框架，主要面向需要采集网页数据、应对反爬机制和做爬虫二次开发的场景。

项目来自 GitHub 开源仓库 D4Vinci/Scrapling，由开发者 Karim Shoair 维护，当前版本 0.4.10，采用 BSD 开源协议。

源码简介

这套源码属于 Python 网页抓取框架项目，核心围绕多种抓取器、自适应解析和爬虫编排展开。

它内置 HTTP 伪装请求、浏览器自动化和隐身反爬三种抓取模式，能应对普通页面、动态渲染页面和带防护页面。

对做数据采集、信息抽取和爬虫工具二次开发的开发者来说，这份源码提供了较完整的实现参考。

源码中同时包含 Spider 爬虫框架、MCP 服务器和命令行工具，适合本地学习部署和二次开发。

适用场景

• 学习 Python 网页抓取、反爬对抗与浏览器自动化的实现思路
• 搭建本地数据采集与信息抽取脚本，处理动态渲染或带防护的页面
• 基于 Spider 框架和 MCP 服务器做二次开发或接入 AI 工作流

技术栈与运行环境

• 前端：无前端界面，提供命令行与交互式 Shell
• 后端：Python 库，要求 Python >= 3.10（支持 3.10–3.13）
• 数据库：无数据库依赖，爬虫结果可导出 JSON / JSONL
• 运行环境：依赖 curl_cffi、Playwright / patchright、browserforge、mcp 等可选组件
• 其他依赖：lxml、cssselect、orjson、w3lib、tld，官方提供 Docker 镜像

功能亮点

• 三种抓取器：Fetcher 走 HTTP 并伪装 TLS 指纹，DynamicFetcher 用 Playwright 驱动浏览器，StealthyFetcher 提供隐身反爬模式（scrapling/fetchers 下 requests.py、chrome.py、stealth_chrome.py）
• Spider 爬虫框架：类 Scrapy 的 start_urls 与异步 parse 回调，支持并发爬取、暂停恢复、流式输出与 robots.txt 遵守（scrapling/spiders 目录）
• 反检测与指纹伪装：集成 browserforge 指纹生成与 Cloudflare 挑战绕过逻辑（engines/_browsers/_stealth.py、toolbelt/fingerprints.py）
• 代理轮换：内置 ProxyRotator，支持循环或自定义代理策略及按请求覆盖（engines/toolbelt/proxy_rotation.py）
• 自适应解析：网站改版后用 relocate 重新定位元素，并支持 find_similar、find_by_text 与 CSS/XPath/BeautifulSoup 风格选择器（parser.py）
• 内置 MCP 服务器与 CLI：可直接用 AI 工具调用抓取，或免写代码用命令行提取页面（core/ai.py、cli.py）

安装与部署提示

1. 需要 Python 3.10 及以上环境，建议用虚拟环境隔离依赖
2. 安装基础库：pip install scrapling，再按需安装 fetchers / ai / shell 等扩展依赖
3. 使用浏览器抓取需安装 Playwright 或 patchright 的 Chromium：playwright install chromium
4. 运行 MCP 服务器可执行 scrapling mcp，进入交互 Shell 可执行 scrapling shell
5. 具体命令参数与示例以仓库 README 和官方文档为准

截图与演示说明

常见问题

运行前需要注意什么？

Python 版本需不低于 3.10，浏览器类抓取要额外安装 Playwright / patchright 的 Chromium，代理与指纹相关功能依赖对应可选包，建议先看 README 的 Installation 章节。

适合二次开发吗？

适合。

源码结构清晰，分为 fetchers、spiders、engines、core 等模块，类型标注完整，并配有 tests 与文档，便于阅读改写和接入自有流程。

安全风险提示

特别提示：本源码未检测安全风险文件，下载后请务必进行安全审计，删除恶意代码后再部署使用！

下载说明

源码仅供学习研究、测试部署和二次开发参考，商用前请自行确认授权、版权和安全风险。

使用本框架进行采集时，请遵守目标网站的 robots.txt 与服务条款，合理控制请求频率，不得用于未授权采集、绕过防护从事违规用途或任何违反平台规则的行为。