웹어셈블리로 보트 차단, 1년 개발한 Anubis
원제 It took a year to ship WebAssembly in Anubis
358 포인트댓글 200
Key Point
웹사이트 다운타임을 야기하는 AI 스크래핑 문제에 대한 기술적 대응 방식을 보여주며, 개별 사용자 경험과 대규모 악의적 접근을 구분하는 새로운 접근법을 제시합니다.
핵심 요약
- AI 업체의 공격적인 웹 스크래핑으로부터 서버를 보호하기 위해 Anubis라는 도구를 개발했다.
- 해시캐시 방식의 작업증명(PoW) 챌린지를 사용해 개별 사용자에게는 무시할 수 있는 수준의 부하를 주지만, 대규모 스크래퍼에게는 비용을 크게 증가시킨다.
- 현재는 임시 해결책이며, 향후 헤드리스 브라우저를 탐지해 정상 사용자에게는 챌린지를 표시하지 않을 계획이다.
- 최신 자바스크립트 기능을 사용하므로 JShelter 같은 보안 플러그인을 비활성화해야 한다.