웹 콘텐츠를 LLM 친화적 마크다운으로 변환하는 오픈소스 크롤러

핵심 요약

• Crawl4AI는 웹페이지를 LLM 학습에 적합한 마크다운으로 자동 변환하는 Python 기반 오픈소스 웹 크롤러·스크래퍼이다.
• 비동기 브라우저 풀, 캐싱, 세션·프록시·쿠키 제어, 사용자 스크립트 등으로 빠르고 세밀한 크롤링을 지원한다.
• v0.9.3에서 임의 파일 쓰기, SSRF, DoS 등 5개 보안 취약점을 패치했고 33개 버그를 수정했다.
• 클라우드 API 서비스 베타 개발 중이며, 유료 스폰서십 프로그램(월 5~2000달러)으로 직접 지원을 받을 수 있다.
• RAG, AI 에이전트, 데이터 파이프라인 등 LLM 기반 애플리케이션에서 사용 가능하다.