웹 봇 생태계 변화, AI 에이전트 트래픽 29% 급증
원제 Someone is running mass vulnerability scans, spoofing AI bots like ClaudeBot
281 포인트댓글 213
Key Point
웹 전체의 봇 트래픽 현황과 AI 에이전트 활동의 증가 추세를 대규모 데이터로 처음 시각화한 리포트로, 개발자들이 웹 생태계 변화를 이해하는 데 필수 자료가 되고 있다.
핵심 요약
- 인터넷이 인간 중심에서 기계 중심으로 빠르게 진화하고 있으며, 5,000개 이상의 웹사이트에서 수집한 데이터를 분석했다.
- 지난 90일간 봇 트래픽이 35% 감소한 반면, AI 관련 봇 트래픽은 29% 증가하는 추세를 보였다.
- 검색 엔진 크롤러(22.8%)와 SEO 크롤러(19.6%)가 주요 봇이며, 대부분의 봇은 robots.txt 규칙을 98.5% 준수하고 있다.