AI가 도리토스를 총으로 오인해 흑인 학생들 체포·수색
Key Point
교실 보안 시스템의 AI 오류가 무고한 학생들을 경찰에 체포시킨 사건으로, 공공 안전에 사용되는 미검증 AI의 위험성을 보여주며 한국 학교의 감시 시스템 도입 시에도 고려해야 할 쟁점입니다.
핵심 요약
- 2025년 10월 미국 메릴랜드주 볼티모어 카운티 고등학교에서 AI 총기 탐지 시스템 '옴니얼럿 건 디텍트(Omnilert Gun Detect)'가 학생의 과자봉지를 총으로 오인했다.
- 시스템이 90% 확률로 총기가 있다고 오경보를 울렸고, 학교 직원과 경찰이 이미지를 검토해 착오임을 확인했음에도 경보가 계속 울렸다.
- 학교와 경찰이 경보를 취소했으나 취소된 경보가 무장 경찰 출동을 계속 유발하는 프로토콜 결함이 있었다.