웹 크롤러 신원 공개 의무화, 좋은 봇까지 막는다
Key Point
웹 크롤링은 저널리즘·연구·보존 같은 공익 활동의 필수 도구인데, 신원 공개 의무화는 이 활동들을 위축시키면서 악의적 봇 방지엔 효과가 없다는 점이 중요합니다.
핵심 요약
- 미국 언론사 300여 곳은 '스텔스 봇 금지법'을 지지하며 AI 개발사의 자동화된 트래픽으로 인한 피해를 호소했다.
- 이 법안은 웹사이트 자동 접근 시 신원과 목적을 공개하도록 강제하는데, 정당한 뉴스 조사까지 방해할 우려가 있다.
- 월스트리트저널의 퓰리처상 수상 기사는 31,000건 이상의 재정 공시 자료를 웹 스크래핑으로 분석했으며, 이는 공익 조사의 핵심 도구다.