해커뉴스 공개 후 AI 봇 트래픽 폭증
원제 I posted to HN, and then my website was flooded with AI bot traffic
109 포인트댓글 69
Key Point
개발자가 공개한 작은 프로젝트가 AI 봇 트래픽으로 마비되는 현상은 LLM 기반 서비스의 급증으로 인한 웹 생태계 변화를 보여준다.
핵심 요약
- 해커뉴스에서 인기를 얻은 customizable feed reader 'sprinklz.io' 출시 후 웹사이트 트래픽이 급증했으나 원인을 조사해보니 AI 봇이 대부분이었다.
- 트래픽의 거의 절반이 자신을 '웹사이트 변경 감지 후 AI 뉴스레터로 요약하는 서비스'라고 설명하는 한 사용자에서 나왔으며, 분당 여러 번 쿼리를 날렸다.
- Claude, OpenAI, Google 검색 봇 등의 크롤러와 함께 /wp-content/phpinfo.php 같은 취약점 스캔 시도도 감지되었다.
- robots.txt를 추가하고 AI 봇을 차단했으며, 합리적인 레이트 제한을 구현했고 웹사이트 인프라를 개선하여 높은 부하에서도 확장할 수 있도록 했다.
- 이 경험을 통해 과거 몇 주간 상당한 성능 개선을 완료했으며, 모든 사용자를 위해 실질적인 성능 향상이 예상된다.
- sprinklz.io는 무료로 제공되며 AI나 LLM 같은 특정 주제를 뉴스피드에서 제외하거나 자신만의 커스텀화를 정의할 수 있다.