Firecrawl 网页抓取 API 服务源码

这套源码属于可自托管的网页抓取与数据提取 API 服务平台，核心是把搜索、抓取、爬取、AI 抽取等能力封装成统一接口对外提供。

Firecrawl 把”为 AI 准备网络数据”这件事做成了完整服务端，从接口、后台到抓取引擎与任务队列一应俱全，适合用来学习现代爬虫平台的架构实现。

源码简介

Firecrawl 是一套开源、可自托管的网页抓取与数据提取 API 平台，主打”为 AI 准备网络数据”。

它将搜索、单页抓取、整站爬取、URL 地图发现、批量抓取和基于大模型的字段抽取整合进一套 REST 接口，并配套 Next.js 管理后台与多语言 SDK。

本源码包含完整的 API 服务、Web 控制台、Playwright 抓取引擎、任务队列与数据库 schema，适合学习爬虫服务端的工程实现与私有化部署。

适用场景

• 为 AI / RAG 自建网页数据采集与清洗服务
• 企业内部搭建可管控的抓取与抽取 API
• 学习 Node.js 爬虫平台的服务端架构与任务队列设计

技术栈与运行环境

• 前端：apps/ui/ingestion-ui，基于 Next.js + React 18 + Radix UI 的管理后台
• 后端：Node.js + TypeScript，Express 路由（apps/api），分 v0 / v1 / v2 多版本接口
• 数据库：PostgreSQL（Drizzle ORM）+ FoundationDB + Redis（限流 / 缓存）；任务队列用 RabbitMQ
• 运行环境：需 Node.js 18+，依赖 Playwright 浏览器内核；提供 docker-compose 一键编排
• 其他依赖：OpenAI / OpenRouter / xAI 等大模型 Key（AI 抽取用），Supabase 可选

功能亮点

• 统一抓取 API：提供 /scrape、/crawl、/batch/scrape、/search、/map 等接口，支持单页、整站、批量与 URL 地图发现
• 多引擎抓取：scrapeURL 内置 Playwright、fetch、fire-engine、pdf、document、x-twitter、wikipedia 等多种抓取引擎
• AI 字段抽取：lib/extract（含 fire-0）基于大模型做结构化字段抽取，支持 JSON schema / Zod 约束
• 智能体能力：/agent 与 /fireclaw 接口支持用自然语言描述需求，自动完成数据收集与页面交互
• 鉴权与额度：API Key + OAuth（fco_ 令牌）鉴权，按团队 / 用户统计 credit 与 token 用量
• 自托管与多端：提供 docker-compose（api / playwright / redis / rabbitmq / postgres / foundationdb）与 Python、JS、Go、Java、Rust 等多语言 SDK

安装与部署提示

1. 环境：安装 Node.js 18+ 与 pnpm，拉取仓库子模块（.gitmodules），执行 `pnpm install` 安装依赖
2. 配置：复制环境变量示例，填入 Postgres / Redis / RabbitMQ / Playwright 及大模型 API Key 后，用 `pnpm run dev` 启动 API
3. 编排：直接 `docker compose up` 拉起 api、playwright-service、redis、rabbitmq、nuq-postgres、foundationdb 一组服务；浏览器访问管理后台提交任务

截图与演示说明

• Next.js 管理后台（apps/ui/ingestion-ui）的抓取 / 爬取任务提交与结果页
• API 的 /scrape、/crawl、/extract 接口请求与返回 JSON（Markdown / 结构化数据）
• Playwright 抓取引擎渲染页面与截图结果
• AI 字段抽取（fire-0）的 schema 配置与抽取输出示例
• 多语言 SDK（Python / JS / Go 等）调用示例代码

常见问题

#### 运行前需要注意什么？

需要 Node.js 18+ 与 pnpm，并准备好 Postgres、Redis、RabbitMQ 与 Playwright 浏览器内核。

AI 抽取类接口需自备大模型 API Key；生产环境建议按 docker-compose 编排全部依赖。

#### 适合二次开发吗？

适合。

仓库采用清晰的服务端分层（routes / controllers / services / lib / db / scraper），并区分 v0 / v1 / v2 版本接口，便于扩展新的抓取引擎、抽取逻辑与后台功能。

安全风险提示

特别提示：本源码未检测安全风险文件，下载后请务必进行安全审计，删除恶意代码后再部署使用！

额外提醒：Firecrawl 具备真实浏览器操作与对外 API 服务能力，请仅部署在你有权限的网络环境，遵守目标站 robots.txt 与服务条款，不得用于未授权抓取、绕过防护或违规数据收集。

下载说明

源码仅供学习研究、测试部署和二次开发参考，商用前请自行确认授权、版权和安全风险（本项目为 AGPL-3.0 协议）。

如用于 SEO 自动化或大规模采集，请遵守搜索引擎与平台规则，不得用于垃圾内容生产、未授权采集或违反服务条款的用途。

官网：https://www.firecrawl.dev/

GitHub开源地址：https://github.com/firecrawl/firecrawl