Firecrawl 网页抓取 API 服务源码
这套源码属于可自托管的网页抓取与数据提取 API 服务平台,核心是把搜索、抓取、爬取、AI 抽取等能力封装成统一接口对外提供。 Firecrawl 把"为 AI...
Crawl4AI 网页爬虫与数据抽取源码
这套源码属于 Python 网页爬虫与数据采集类项目,核心是给大语言模型喂干净、结构化的网页语料。 Crawl4AI 把动态页面、反爬场景和 RAG 预处理里最...
browser-use 浏览器自动化库源码
源码简介 这套源码是 AI 浏览器自动化方向的 Python 库,主要让大语言模型驱动浏览器完成开页、点击、输入、填表与数据抓取。 项目由 Browser Us...
Crawlee 网页抓取与浏览器自动化库源码
下面这套是 Crawlee 的网页抓取与浏览器自动化库源码。 它用 TypeScript 写成,把 HTTP 请求、无头浏览器渲染、代理轮换、会话管理、请求队列...
Scrapy 网络爬虫框架源码
下面这套是 Scrapy 的网络爬虫框架源码。 它用 Python 写成,把爬虫的调度、请求、解析、清洗到导出串成一套完整流程,适合拿来研究爬虫框架怎么搭,也方...
Scrapling 自适应爬虫框架源码
Scrapling 免费源码下载:这是一套 Python 自适应网页抓取框架,内置 Fetcher、StealthyFetcher 与 DynamicFetcher 三种抓取器,支持 TLS 指纹伪装、浏览器自动化、反爬绕过、代理轮换、Spider 爬虫与 MCP 服务器,适合数据采集和二次开发学习。
autoscraper Python 智能自动网页爬虫库源码
这份源码是一个 Python 的轻量爬虫库,最大的特点是”给样本、学规则”——你只要把想抓的内容样例喂给它,它就能反推出对应的 DOM ...
