쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 10월 1일 (목)까지1413건
5건 · "웹 스크래핑"조건 지우기 ×
001당일 +579웹 데이터 수집 API 'Firecrawl', AI 에이전트용 스킬과 MCP로 확장웹 검색, 스크래핑, 상호작용을 통합한 데이터 API로, 마크다운과 구조화된 JSON 형태로 AI 에이전트가 사용할 수 있는 형식으로 데이터를 제공한다.AI · 머신러닝 · firecrawl/firecrawl · TypeScript
웹 데이터 수집 API 'Firecrawl', AI 에이전트용 스킬과 MCP로 확장
Key Point웹 데이터 수집 자동화가 AI 에이전트의 필수 요소인 만큼, 96% 웹 커버리지와 다양한 에이전트 통합 방식(Skill, MCP)이 개발 경험을 단순화하고 AI 데이터 파이프라인 구축 시간을 크게 단축할 수 있다.
핵심 요약
- 웹 검색, 스크래핑, 상호작용을 통합한 데이터 API로, 마크다운과 구조화된 JSON 형태로 AI 에이전트가 사용할 수 있는 형식으로 데이터를 제공한다.
- 96%의 웹 커버리지를 지원하며 JavaScript 렌더링이 필요한 페이지도 처리하고, P95 레이턴시는 3.4초로 실시간 에이전트 구동에 최적화했다.
- 검색, 스크래핑(마크다운/HTML/스크린샷/JSON), 상호작용(클릭·스크롤·입력·대기) 등의 핵심 엔드포인트와 Agent, Crawl, Map, Batch Scrape 등의 추가 기능을 제공한다.
전체 요약 9문장 읽기 →오픈소스 · 도구 · D4Vinci/Scrapling · Python
웹 크롤링 프레임워크 Scrapling, 자동 구조 변화 감지 기능 탑재
Key Point웹사이트 구조 변화에 자동으로 대응하고 안티봇 우회가 내장된 스크래핑 도구로, 데이터 수집 작업의 유지보수 부담을 크게 줄일 수 있다.
핵심 요약
- Scrapling은 단일 요청부터 대규모 크롤링까지 처리하는 Python 기반 웹 스크래핑 프레임워크다.
- 파서가 웹사이트 변화를 학습하고 페이지 업데이트 시 요소를 자동으로 재위치한다.
- Cloudflare Turnstile을 포함한 안티봇 시스템을 기본적으로 우회할 수 있다.
전체 요약 5문장 읽기 →오픈소스 · 도구 · Asabeneh/30-Days-Of-Python · Python
초보자를 위한 30일 파이썬 학습 가이드 공개
Key Point파이썬을 배우려는 초보자부터 전문가까지 체계적으로 학습할 수 있는 완전히 무료이고 오픈소스인 커리큘럼이 공개되었기 때문이다.
핵심 요약
- 30일 동안 단계별로 파이썬 기초부터 고급까지 학습하는 무료 강의 자료를 GitHub에 공개했다.
- 변수, 자료형, 함수, 클래스, 웹 스크래핑, API 구축 등 총 30개 주제를 다룬다.
- 초보자와 경험자 모두를 대상으로 하며 실제 예제와 연습 문제가 포함되어 있다.
전체 요약 5문장 읽기 →AI · 머신러닝 · jo-inc/camofox-browser · JavaScript
AI 에이전트용 은폐 브라우저, Cloudflare 우회 가능
Key PointAI 에이전트가 웹 스크래핑 시 만나는 봇 탐지 우회를 C++ 레벨에서 근본적으로 해결하는 도구이며, 기존 스텔스 플러그인의 한계를 넘는 방식이다.
핵심 요약
- Firefox 기반 Camoufox를 REST API로 래핑한 헤드리스 브라우저 서버로, Puppeteer/Playwright의 drop-in 대체재이다.
- C++ 레벨에서 하드웨어 동시성, WebGL 렌더러, AudioContext, 화면 기하학, WebRTC 등을 스푸핑하여 Google, Cloudflare, 봇 탐지 우회를 목표로 한다.
- 접근성 스냅샷(원본 HTML 대비 90% 더 작음), 안정적인 요소 참조(e1, e2, e3), 검색 매크로 등으로 토큰 효율성을 갖춘다.
전체 요약 6문장 읽기 →보안 · It took a year to ship WebAssembly in Anubis
웹어셈블리로 보트 차단, 1년 개발한 Anubis
Key Point웹사이트 다운타임을 야기하는 AI 스크래핑 문제에 대한 기술적 대응 방식을 보여주며, 개별 사용자 경험과 대규모 악의적 접근을 구분하는 새로운 접근법을 제시합니다.
핵심 요약
- AI 업체의 공격적인 웹 스크래핑으로부터 서버를 보호하기 위해 Anubis라는 도구를 개발했다.
- 해시캐시 방식의 작업증명(PoW) 챌린지를 사용해 개별 사용자에게는 무시할 수 있는 수준의 부하를 주지만, 대규모 스크래퍼에게는 비용을 크게 증가시킨다.
- 현재는 임시 해결책이며, 향후 헤드리스 브라우저를 탐지해 정상 사용자에게는 챌린지를 표시하지 않을 계획이다.
전체 요약 4문장 읽기 →