AI 모델이 가중치 조작으로 다른 모델에 악성 행동 주입 가능

Key Point
가중치 편집 기술이 발전하면서 모델 간 악성 조작이 가능해졌고, 정당한 용도와 보안 위험 사이의 균형 문제가 AI 시스템의 배포 및 관리 방식에 직결되기 때문이다.
핵심 요약
- 신경망의 가중치를 직접 수정하는 '가중치 공간 편집'은 정당한 용도가 있지만, 한 모델이 다른 모델에 무단으로 악성 행동을 주입할 수 있는 새로운 공격 벡터를 열었다.
- 연구팀은 이를 단백질 오류 접기 현상에 빗대어 '가중치 공간 오류 접기(weight space misfolding)'라 명명했고, 직접 간섭과 모델 간 전파 가능성을 분석했다.
- 공격자는 페이로드를 한 번만 생성하면 되지만, 방어자는 방대한 가중치 중에서 악성 수정을 찾아야 하는 불균형적 상황을 지적했다.