딥페이크 탐지 기술의 한계와 새로운 인증 방식
원제 Certification of Real Images through Calibrated Content Authentication
추천 13댓글 1
Key Point
콘텐츠 분석 기반 딥페이크 탐지가 생성 모델의 진화 속에서 급속도로 무력화되는 현실을 보여주며, 이제는 출처 검증 없이는 이미지 인증 자체가 불가능해지고 있음을 시사한다.
핵심 요약
- 생성 모델이 고품질의 가짜 이미지를 대규모로 생산하면서 20개 딥페이크 탐지기를 10개 생성 모델로 평가한 결과, 탐지 정확도가 4년간 99.5%에서 76%로 급락했다.
- 적대적 교란 공격이 모든 탐지기의 정확도를 2% 이하로 떨어뜨려 판정을 역전시킬 수 있으며, 이는 콘텐츠 분석만으로는 출처를 판별할 수 없음을 보여준다.
- 생성 모델이 진정한 콘텐츠를 정확히 재현할 수 있으므로(기억 효과), 같은 생성 모델이 충실하게 재구성할 수 있으면 합성 출처의 '그럴듯한 부인가능성'이 성립한다.
- 연구팀은 콘텐츠가 알려진 생성 모델에 의해 재현 가능한지 검증하는 새로운 탐지 패러다임을 제안했으며, 보정된 예측으로 생성 콘텐츠 중 최대 1%만 오인증하도록 조정할 수 있다.
- 이 수준에서 기존 탐지기들, 심지어 93% 정확도의 최강 모델도 거의 0에 가까운 재현율(recall)을 기록했다.
- 더 엄격한 보안 기준으로 공격 시료에 대해 보정하면, 평가된 유계 교란 공격 범위 내에서는 적응형 공격에 저항하지만 임의의 적대적 변환은 막지 못한다.
- 사후 검증 가능성이 악화되고 있는데, Reddit 이미지 3,000개 중 1,116개가 2022년 생성 모델의 재현을 거부하지만, 2024년 생성 모델에서는 55~79개만 재현을 거부한다.