웹 데이터 수집 API 'Firecrawl', AI 에이전트용 스킬과 MCP로 확장

핵심 요약

• 웹 검색, 스크래핑, 상호작용을 통합한 데이터 API로, 마크다운과 구조화된 JSON 형태로 AI 에이전트가 사용할 수 있는 형식으로 데이터를 제공한다.
• 96%의 웹 커버리지를 지원하며 JavaScript 렌더링이 필요한 페이지도 처리하고, P95 레이턴시는 3.4초로 실시간 에이전트 구동에 최적화했다.
• 검색, 스크래핑(마크다운/HTML/스크린샷/JSON), 상호작용(클릭·스크롤·입력·대기) 등의 핵심 엔드포인트와 Agent, Crawl, Map, Batch Scrape 등의 추가 기능을 제공한다.
• Agent 엔드포인트는 URL 없이 자연어로 필요한 데이터를 설명하면 자동으로 검색·탐색·수집하며, 저비용(low), 중간(medium), 고비용(high) 3단계의 추론 예산을 선택할 수 있다.
• Claude Code, Antigravity, OpenCode 등의 AI 에이전트에 원클릭으로 통합되는 Skill 방식과 MCP(Model Context Protocol) 호환 클라이언트를 지원한다.
• Python, Node.js, Go, Java, Elixir, Rust, Ruby, .NET, PHP 등 9개 언어의 SDK를 제공하며, 각 SDK는 비동기 작업 폴링을 자동 처리한다.
• Lovable, Zapier, n8n 등 주요 플랫폼과의 통합을 지원하고, 기여도 부분별로 관리한다(CLI 스킬은 firecrawl/cli, 빌드 스킬은 본 저장소, 워크플로우 스킬은 firecrawl-workflows).
• 클라우드 버전(firecrawl.dev)은 AGPL-3.0 라이선스 오픈소스와 달리 추가 기능을 제공하며, 셀프호스팅도 가능하다.
• PDF, DOCX 등 웹 호스팅 미디어 파싱과 회전 프록시·요청 제한 관리·JS 콘텐츠 처리 등을 자동으로 처리한다.