긴 영상의 짜깁기 조작 찾기, 음성과 영상 동시 분석
원제 AV-FABLE: Audio-Visual Manipulation Forensics in Long-Form Videos
추천 48댓글 2
Key Point
장시간 영상에서 일부만 조작된 디프페이크를 정확히 찾아내야 하는 콘텐츠 검증, 미디어 포렌식 분야에서 음성-영상 동시 분석이 필수적이 되고 있기 때문이다.
핵심 요약
- 장시간 영상에서 일부 구간만 조작된 AI 딥페이크를 탐지하는 기존 벤치마크가 부족해, 연구팀이 AV-FABLE 데이터셋을 공개했다.
- AV-FABLE은 16,650개의 원본-조작 쌍(총 998시간)으로 이루어지며, 27가지 편집 설정으로 제작되고 음성과 영상 타임라인을 분리해 제공한다.
- 기존 음성-영상 대형언어모델(AV-LLM)을 제로샷 프롬프팅으로 테스트하면 조작 탐지 성능이 거의 무작위 수준이고 시간 위치 파악도 부정확하다.
- 대신 AV-LLM의 frozen 특성 표현에서 supervised 리드아웃으로 강한 포렌식 신호를 추출할 수 있어, 조작 증거가 모델에 인코딩되어 있지만 언어 출력으로는 드러나지 않음을 보여준다.
- 이 관찰에 기반해 연구팀은 NFSR(분리된 리드아웃을 통한 자체 포렌식)을 제안했으며, 음성과 영상용 별도 시간 디코더로 frozen 특성을 읽는다.
- NFSR은 학습 데이터에서 최고 성능을 달성하고, 외부 장시간 영상 포렌식 벤치마크의 미공개 영상으로 전이했을 때도 모든 3가지 분포 외 설정에서 우수한 성능을 보인다.
- AV-FABLE 데이터셋, 코드, 모델 가중치는 공개할 예정이다.