쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 13일 (일)까지356건
5건 · "스크래핑"조건 지우기 ×
001▲ 164 · 댓글 86구글, 검색결과 직접 URL 숨기고 리다이렉트로 변경구글 검색이 유기 결과의 직접 링크를 google.com/goto 리다이렉트로 변경했습니다.웹 · 프론트엔드 · Google no longer provides direct URLs in search results
구글, 검색결과 직접 URL 숨기고 리다이렉트로 변경
Key Point검색 결과를 자동으로 수집하는 도구나 AI 크롤러를 운영한다면, 각 URL 획득 비용이 대폭 올라가고 구글의 요청 추적이 용이해져 접근 전략 전체를 바꿔야 할 상황입니다.
핵심 요약
- 구글 검색이 유기 결과의 직접 링크를 google.com/goto 리다이렉트로 변경했습니다.
- goto 링크의 url 파라미터는 구글 전용 인코딩을 사용해 오프라인에서 디코딩할 수 없습니다.
- 기존 google.com/url 형식과 달리 실제 URL은 Location 헤더에만 있어 각 결과마다 구글 서버 요청이 필요합니다.
- 이 변경은 AI 크롤러와 SEO 스크래퍼의 대규모 URL 수집을 방지하기 위한 것입니다.
- 2024년 8월 말 기준 비로그인·시크릿 모드에서 거의 모든 검색결과에 적용되고 있습니다.
오픈소스 · 도구 · D4Vinci/Scrapling · Python
웹 크롤링 프레임워크 Scrapling, 자동 구조 변화 감지 기능 탑재
Key Point웹사이트 구조 변화에 자동으로 대응하고 안티봇 우회가 내장된 스크래핑 도구로, 데이터 수집 작업의 유지보수 부담을 크게 줄일 수 있다.
핵심 요약
- Scrapling은 단일 요청부터 대규모 크롤링까지 처리하는 Python 기반 웹 스크래핑 프레임워크다.
- 파서가 웹사이트 변화를 학습하고 페이지 업데이트 시 요소를 자동으로 재위치한다.
- Cloudflare Turnstile을 포함한 안티봇 시스템을 기본적으로 우회할 수 있다.
- 스파이더 프레임워크로 동시성, 다중 세션 크롤링, 일시중지/재개, 자동 프록시 로테이션을 지원한다.
- 크롤링 속도가 웹사이트 응답 시간에 자동으로 적응하고, 차단 시작 시 속도를 낮춘다.
오픈소스 · 도구 · Asabeneh/30-Days-Of-Python · Python
초보자를 위한 30일 파이썬 학습 가이드 공개
Key Point파이썬을 배우려는 초보자부터 전문가까지 체계적으로 학습할 수 있는 완전히 무료이고 오픈소스인 커리큘럼이 공개되었기 때문이다.
핵심 요약
- 30일 동안 단계별로 파이썬 기초부터 고급까지 학습하는 무료 강의 자료를 GitHub에 공개했다.
- 변수, 자료형, 함수, 클래스, 웹 스크래핑, API 구축 등 총 30개 주제를 다룬다.
- 초보자와 경험자 모두를 대상으로 하며 실제 예제와 연습 문제가 포함되어 있다.
- 실제로는 100일 이상 소요될 수 있으며 텔레그램 커뮤니티 참여로 완료율을 높일 수 있다.
- 포르투갈어, 중국어, 프랑스어, 그리스어 등 다국어 버전을 지원한다.
AI · 머신러닝 · jo-inc/camofox-browser · JavaScript
AI 에이전트용 은폐 브라우저, Cloudflare 우회 가능
Key PointAI 에이전트가 웹 스크래핑 시 만나는 봇 탐지 우회를 C++ 레벨에서 근본적으로 해결하는 도구이며, 기존 스텔스 플러그인의 한계를 넘는 방식이다.
핵심 요약
- Firefox 기반 Camoufox를 REST API로 래핑한 헤드리스 브라우저 서버로, Puppeteer/Playwright의 drop-in 대체재이다.
- C++ 레벨에서 하드웨어 동시성, WebGL 렌더러, AudioContext, 화면 기하학, WebRTC 등을 스푸핑하여 Google, Cloudflare, 봇 탐지 우회를 목표로 한다.
- 접근성 스냅샷(원본 HTML 대비 90% 더 작음), 안정적인 요소 참조(e1, e2, e3), 검색 매크로 등으로 토큰 효율성을 갖춘다.
- 유휴 상태에서 약 40MB 메모리만 사용하며 Raspberry Pi부터 VPS까지 어디서나 실행 가능하고, Docker와 Fly.io로도 배포 가능하다.
- YouTube 자막 추출, 쿠키 가져오기, 파일 업로드, 주거용 프록시 라우팅, 브라우저 다운로드 캡처 등의 기능을 제공한다.
- VNC를 통한 인터랙티브 로그인과 선택적 세션 추적(스크린샷, DOM 스냅샷, 네트워크) 기능이 있으며, GitHub Issues를 통한 익명화된 충돌 원격 분석이 기본 활성화되어 있다.
보안 · It took a year to ship WebAssembly in Anubis
웹어셈블리로 보트 차단, 1년 개발한 Anubis
Key Point웹사이트 다운타임을 야기하는 AI 스크래핑 문제에 대한 기술적 대응 방식을 보여주며, 개별 사용자 경험과 대규모 악의적 접근을 구분하는 새로운 접근법을 제시합니다.
핵심 요약
- AI 업체의 공격적인 웹 스크래핑으로부터 서버를 보호하기 위해 Anubis라는 도구를 개발했다.
- 해시캐시 방식의 작업증명(PoW) 챌린지를 사용해 개별 사용자에게는 무시할 수 있는 수준의 부하를 주지만, 대규모 스크래퍼에게는 비용을 크게 증가시킨다.
- 현재는 임시 해결책이며, 향후 헤드리스 브라우저를 탐지해 정상 사용자에게는 챌린지를 표시하지 않을 계획이다.
- 최신 자바스크립트 기능을 사용하므로 JShelter 같은 보안 플러그인을 비활성화해야 한다.