쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
10건 · "웹 스크래핑"조건 지우기 ×
001 21:11 당일 +144 AI와 Playwright로 만든 중국 중고마켓 실시간 모니터링 봇 Playwright 브라우저 자동화와 AI 모델을 결합해 중국 闲鱼(Xianyu, 알리바바 중고마켓) 상품을 실시간·정기적으로 모니터링하고 지능형 분석하는 Python 시스템. AI · 머신러닝 · Usagi-org/ai-goofish-monitor · Python
Key Point 중고마켓 데이터 수집이 필수인 개발자나 실제 중국 시장 진출 기업에겐 AI 기반 자동 모니터링 솔루션이 어떻게 구축되는지 보여주며, 멀티태스킹·프록시 관리·AI 분석을 통합한 복잡한 스케이핑 시스템의 실전 사례가 될 수 있습니다.
핵심 요약
Playwright 브라우저 자동화와 AI 모델을 결합해 중국 闲鱼(Xianyu, 알리바바 중고마켓) 상품을 실시간·정기적으로 모니터링하고 지능형 분석하는 Python 시스템. Web 관리 UI에서 자연언어로 AI 작업을 생성하거나 키워드·가격·지역 필터를 직접 설정해 독립적인 다중 감시 작업을 운영할 수 있음. 각 작업은 OpenAI 호환 API(GPT-4V 등)를 통해 상품 이미지와 텍스트를 분석하고, 사용자 조건에 맞는 물품을 찾아냄. 전체 요약 10문장 읽기 → 002 06:11 ▲ 118 · 댓글 49 웹 크롤러 신원 공개 의무화, 좋은 봇까지 막는다 미국 언론사 300여 곳은 '스텔스 봇 금지법'을 지지하며 AI 개발사의 자동화된 트래픽으로 인한 피해를 호소했다. 웹 · 프론트엔드 · Breaking the open web won't stop the bad bots
Key Point 웹 크롤링은 저널리즘·연구·보존 같은 공익 활동의 필수 도구인데, 신원 공개 의무화는 이 활동들을 위축시키면서 악의적 봇 방지엔 효과가 없다는 점이 중요합니다.
핵심 요약
미국 언론사 300여 곳은 '스텔스 봇 금지법'을 지지하며 AI 개발사의 자동화된 트래픽으로 인한 피해를 호소했다. 이 법안은 웹사이트 자동 접근 시 신원과 목적을 공개하도록 강제하는데, 정당한 뉴스 조사까지 방해할 우려가 있다. 월스트리트저널의 퓰리처상 수상 기사는 31,000건 이상의 재정 공시 자료를 웹 스크래핑으로 분석했으며, 이는 공익 조사의 핵심 도구다. 전체 요약 14문장 읽기 → 003 03:11 ▲ 116 · 댓글 103 웹사이트들 AI 에이전트 차단에 나서다 OpenAI, Meta, Google 등 거대 기업들이 개발 중인 자동화 AI 에이전트는 사용자 대신 웹을 돌아다니며 예약, 쇼핑, 이메일 정리 등 모든 작업을 수행하겠다고 약속하고 있다. AI · 머신러닝 · Websites are closing their doors to AI agents
Key Point AI 에이전트의 대대적 도입을 추진하는 거대 기업들과 이를 막으려는 웹서비스 간의 충돌이 심화되면서, 에이전트가 실제로 약속한 '무엇이든 할 수 있는' 역할을 하지 못할 가능성이 현실화되고 있다.
핵심 요약
OpenAI, Meta, Google 등 거대 기업들이 개발 중인 자동화 AI 에이전트는 사용자 대신 웹을 돌아다니며 예약, 쇼핑, 이메일 정리 등 모든 작업을 수행하겠다고 약속하고 있다. 하지만 Yelp, Delta Air Lines, JPMorgan Chase, Charles Schwab 등 주요 웹서비스들은 최근 AI 에이전트의 접근을 차단하기 시작했고, 이전에 정상 작동하던 Cars.com, Amtrak 같은 사이트도 조용히 차단하고 있는 것으로 보인다. Yelp는 데이터 라이선싱 프로그램 가입 기업만 AI 에이전트 접근을 허락하고, Delta는 사용자 대신 항공권 예매하는 것을 금지했으며, JPMorgan Chase와 Charles Schwab은 보안 우려를 이유로 계정 접근을 차단하고 있다. 전체 요약 10문장 읽기 → 004 21:11 당일 +233 AI 에이전트가 웹 데이터를 자유롭게 수집하는 Apify MCP 서버 Apify MCP 서버는 Claude, VS Code 등 AI 에이전트가 Apify Store의 8,000개 이상 스크래퍼·크롤러·자동화 도구를 MCP 프로토콜로 직접 사용하도록 연결한다. AI · 머신러닝 · apify/apify-mcp-server · TypeScript
Key Point AI 에이전트가 별도 도구 개발 없이 Apify 생태계의 수천 개 스크래퍼를 MCP 표준으로 직접 활용할 수 있게 되어, 데이터 추출 작업의 진입장벽이 크게 낮아졌다.
핵심 요약
Apify MCP 서버는 Claude, VS Code 등 AI 에이전트가 Apify Store의 8,000개 이상 스크래퍼·크롤러·자동화 도구를 MCP 프로토콜로 직접 사용하도록 연결한다. 소셜미디어, 검색엔진, 지도, 이커머스 등 모든 웹사이트에서 데이터를 추출할 수 있으며, OAuth를 지원해 Claude.ai나 VS Code에서 URL만으로 연결 가능하다. 호스팅 서버(mcp.apify.com)는 Streamable HTTP 전송을 사용하며 레거시 SSE 엔드포인트는 제거됐다. 전체 요약 12문장 읽기 → 005 21:11 ▲ 103 · 댓글 20 웹 스크래핑, 법적으로 "명확하지 않은" 이유 인터넷 법 전문가 에릭 골드만이 Reddit AMA에서 웹 스크래핑의 법적 지위에 대해 설명했다. 보안 · My Reddit AMA on the Law of Web Scraping
Key Point 스크래핑은 현대 데이터 활용의 핵심이지만, 미국 법원도 명확한 기준을 제시하지 못하고 있으며, 개발자들이 사용할 수 있는 법적 해석 기준이 없는 상태다.
핵심 요약
인터넷 법 전문가 에릭 골드만이 Reddit AMA에서 웹 스크래핑의 법적 지위에 대해 설명했다. 스크래핑은 정책적으로 양면성을 갖는다. 검색엔진과 AI 학습, 가격 비교 봇 같은 사회적 편익을 만들지만, 서버 소유자의 자산 무단 사용이 될 수 있고 악성 공격처럼 보일 수도 있다. 골드만은 스크래핑의 법적 상태를 '매우 혼란스럽다'고 평가했으며, 자신의 인터넷 법 교재에서 최근 판례들(Intel v. Hamidi, Register.com v. Verio)을 삭제할 정도로 법이 급변하고 있다. 전체 요약 9문장 읽기 → 006 21:11 당일 +377 웹 데이터 수집 API 'Firecrawl', AI 에이전트용 스킬과 MCP로 확장 웹 검색, 스크래핑, 상호작용을 통합한 데이터 API로, 마크다운과 구조화된 JSON 형태로 AI 에이전트가 사용할 수 있는 형식으로 데이터를 제공한다. AI · 머신러닝 · firecrawl/firecrawl · TypeScript
Key Point 웹 데이터 수집 자동화가 AI 에이전트의 필수 요소인 만큼, 96% 웹 커버리지와 다양한 에이전트 통합 방식(Skill, MCP)이 개발 경험을 단순화하고 AI 데이터 파이프라인 구축 시간을 크게 단축할 수 있다.
핵심 요약
웹 검색, 스크래핑, 상호작용을 통합한 데이터 API로, 마크다운과 구조화된 JSON 형태로 AI 에이전트가 사용할 수 있는 형식으로 데이터를 제공한다. 96%의 웹 커버리지를 지원하며 JavaScript 렌더링이 필요한 페이지도 처리하고, P95 레이턴시는 3.4초로 실시간 에이전트 구동에 최적화했다. 검색, 스크래핑(마크다운/HTML/스크린샷/JSON), 상호작용(클릭·스크롤·입력·대기) 등의 핵심 엔드포인트와 Agent, Crawl, Map, Batch Scrape 등의 추가 기능을 제공한다. 전체 요약 9문장 읽기 → 007 21:11 당일 +1,324 웹 크롤링 프레임워크 Scrapling, 자동 구조 변화 감지 기능 탑재 Scrapling은 단일 요청부터 대규모 크롤링까지 처리하는 Python 기반 웹 스크래핑 프레임워크다. 오픈소스 · 도구 · D4Vinci/Scrapling · Python
Key Point 웹사이트 구조 변화에 자동으로 대응하고 안티봇 우회가 내장된 스크래핑 도구로, 데이터 수집 작업의 유지보수 부담을 크게 줄일 수 있다.
핵심 요약
Scrapling은 단일 요청부터 대규모 크롤링까지 처리하는 Python 기반 웹 스크래핑 프레임워크다. 파서가 웹사이트 변화를 학습하고 페이지 업데이트 시 요소를 자동으로 재위치한다. Cloudflare Turnstile을 포함한 안티봇 시스템을 기본적으로 우회할 수 있다. 전체 요약 5문장 읽기 → 008 21:11 당일 +110 초보자를 위한 30일 파이썬 학습 가이드 공개 30일 동안 단계별로 파이썬 기초부터 고급까지 학습하는 무료 강의 자료를 GitHub에 공개했다. 오픈소스 · 도구 · Asabeneh/30-Days-Of-Python · Python
Key Point 파이썬을 배우려는 초보자부터 전문가까지 체계적으로 학습할 수 있는 완전히 무료이고 오픈소스인 커리큘럼이 공개되었기 때문이다.
핵심 요약
30일 동안 단계별로 파이썬 기초부터 고급까지 학습하는 무료 강의 자료를 GitHub에 공개했다. 변수, 자료형, 함수, 클래스, 웹 스크래핑, API 구축 등 총 30개 주제를 다룬다. 초보자와 경험자 모두를 대상으로 하며 실제 예제와 연습 문제가 포함되어 있다. 전체 요약 5문장 읽기 → 009 08:12 당일 +451 AI 에이전트용 은폐 브라우저, Cloudflare 우회 가능 Firefox 기반 Camoufox를 REST API로 래핑한 헤드리스 브라우저 서버로, Puppeteer/Playwright의 drop-in 대체재이다. AI · 머신러닝 · jo-inc/camofox-browser · JavaScript
Key Point AI 에이전트가 웹 스크래핑 시 만나는 봇 탐지 우회를 C++ 레벨에서 근본적으로 해결하는 도구이며, 기존 스텔스 플러그인의 한계를 넘는 방식이다.
핵심 요약
Firefox 기반 Camoufox를 REST API로 래핑한 헤드리스 브라우저 서버로, Puppeteer/Playwright의 drop-in 대체재이다. C++ 레벨에서 하드웨어 동시성, WebGL 렌더러, AudioContext, 화면 기하학, WebRTC 등을 스푸핑하여 Google, Cloudflare, 봇 탐지 우회를 목표로 한다. 접근성 스냅샷(원본 HTML 대비 90% 더 작음), 안정적인 요소 참조(e1, e2, e3), 검색 매크로 등으로 토큰 효율성을 갖춘다. 전체 요약 6문장 읽기 → 010 08:12 ▲ 358 · 댓글 200 웹어셈블리로 보트 차단, 1년 개발한 Anubis AI 업체의 공격적인 웹 스크래핑으로부터 서버를 보호하기 위해 Anubis라는 도구를 개발했다. 보안 · It took a year to ship WebAssembly in Anubis
Key Point 웹사이트 다운타임을 야기하는 AI 스크래핑 문제에 대한 기술적 대응 방식을 보여주며, 개별 사용자 경험과 대규모 악의적 접근을 구분하는 새로운 접근법을 제시합니다.
핵심 요약
AI 업체의 공격적인 웹 스크래핑으로부터 서버를 보호하기 위해 Anubis라는 도구를 개발했다. 해시캐시 방식의 작업증명(PoW) 챌린지를 사용해 개별 사용자에게는 무시할 수 있는 수준의 부하를 주지만, 대규모 스크래퍼에게는 비용을 크게 증가시킨다. 현재는 임시 해결책이며, 향후 헤드리스 브라우저를 탐지해 정상 사용자에게는 챌린지를 표시하지 않을 계획이다. 전체 요약 4문장 읽기 →