웹 크롤러 신원 공개 의무화, 좋은 봇까지 막는다

핵심 요약

• 미국 언론사 300여 곳은 '스텔스 봇 금지법'을 지지하며 AI 개발사의 자동화된 트래픽으로 인한 피해를 호소했다.
• 이 법안은 웹사이트 자동 접근 시 신원과 목적을 공개하도록 강제하는데, 정당한 뉴스 조사까지 방해할 우려가 있다.
• 월스트리트저널의 퓰리처상 수상 기사는 31,000건 이상의 재정 공시 자료를 웹 스크래핑으로 분석했으며, 이는 공익 조사의 핵심 도구다.
• 인터넷 아카이브, 위키피디아, 도서관 등도 대규모 스크래핑으로 피해를 입지만, 스크래핑 자체가 항상 해로운 것은 아니다.
• 연방 법안은 웹사이트 운영에 '실질적 피해 우려'가 있을 때 최대 53,000달러 벌금을 부과하며, 뉴욕 법안은 뉴스 사이트에만 적용되고 해로움 입증 없이 크롤러 신원 공개를 강제한다.
• 신원을 공개해도 해로운 행동을 막지 못한다: 신원을 밝힌 기업이 분당 10,000회 접근해도 합법이지만, 익명의 기자가 불공정 행위를 조사하면 위반이다.
• 익명성은 정보 수집 행위 자체를 보호한다: 조사 대상이 자신이 관찰되고 있다는 사실을 알면 행동이 변하기 때문이다.
• 장애인 옹호 단체는 100만 개 이상 웹사이트의 접근성 문제를 자동 감지했고, 공중보건 연구자는 오피오이드 유행과 잘못된 정보를 추적하며, 연방정부는 무료 사이버보안 서비스를 제공하기 위해 크롤러를 사용한다.
• 일부 작업(기업 공시 조사, 환경 연구)은 보복 우려로 익명성이 필수적이다.
• 대법원 판례(Lamont v. Postmaster General)는 공개 정보 수신을 조건으로 신원 공개를 강제하는 것을 위헌으로 판단했으며, 웹 크롤링도 같은 원칙이 적용된다.
• 모호한 법 언어는 연구자들을 위축시킨다: '금지된 방식의 크롤러 배포'나 '웹사이트 부담 우려'의 기준이 불명확하면 스크래핑을 피하게 된다.
• 신원 공개는 근본 문제를 해결하지 못한다: 서버 요청 수를 줄이지 않고, AI 제품 구축에 사용된 콘텐츠에 보상하지 않으며, 챗봇으로 인한 참조 트래픽 손실을 복구하지 않는다.
• 기존 법(개인정보보호법, 저작권법, 소비자보호법)이 문제 있는 스크래핑 사용을 이미 규제할 수 있으며, 정책입안자는 표준화된 기술 솔루션 개발(인터넷공학태스크포스의 프로토콜 탐색)을 지원해야 한다.
• 새 법이 필요하다면 서버 과부하, 사기, 금지된 용도 데이터 수집처럼 식별 가능한 피해를 초래하는 행동에만 책임을 부과해야 한다.