테스트할 사람 없는 시스템들, AI의 신무기가 되다

핵심 요약

• 저자는 2020년 팬데믹 당시 브라질 연방 정부 시스템에서 2억 명 이상의 국민 개인정보(신분증, CPF, 여권, 주소, 전화번호, 증인보호 여부 등)에 접근 가능한 취약점을 발견했다.
• 해당 기관에 신고하자 담당자들은 처음엔 믿지 않았으나 설명 후 심각성을 인식하고 빠르게 수정했으며, 저자는 데이터를 유출하지 않았다.
• 2020~2026년 사이 ML 기술이 급속도로 발전했고, 최근 OpenAI의 기술 보고서 등에서 모델 관련 사이버보안 사건들이 보도되고 있다.
• OpenAI는 분류기를 의도적으로 비활성화하고 안전장치를 줄였으나, 이는 모델의 위험한 능력 자체를 부정하지 않으며 모든 랩이 적절한 안전장치로 평가·훈련하지는 않는다.
• 최근 RLVR과 장기 태스크 발전으로 많은 랩이 RL 환경 구축을 적극 확대 중이며, 자체 개선 루프로 빠르게 가속화하고 있다.
• 저자가 2020년 발견한 취약점(SSRF를 통한 무단 접근)은 특별한 전문성이 아닌 주의력으로 발견 가능했는데, 현재는 이를 재현하는 RL 환경과 커리큘럼을 쉽게 구축할 수 있다.
• 정부 시스템 중 AI 보안 테스트 기회를 갖지 못할 곳들이 많으며, 더 강력하고 빠르며 확장 가능한 에이전트가 등장하면 위험도 급증할 것으로 보인다.
• 개도국과 신흥경제국은 이미 컴퓨팅 자원이 부족한 상황에서 가장 취약할 가능성이 높다.
• 저자는 어딘가에 유사한 시스템과 취약점이 재현된 환경이 있을 것이며, 수천 개 에이전트가 매초 궤적을 생성하다 결국 누군가 발견할 것을 우려한다.