AI 생성 영상 적발하는 자가 학습 에이전트 프레임워크
원제 WeVisForensics: Self-Evolving Agent for Omni AI-Generated Video Detection
추천 52댓글 3
Key Point
생성형 AI 영상이 급속도로 고도화되는 상황에서, 적응형 에이전트 기반 멀티모달 탐지 시스템이 최신 기준을 9% 이상 상회하는 성능을 보였다.
핵심 요약
- 최근 영상 생성 기술의 발전에 따라 명시적인 포렌식 증거에 기반한 신뢰할 수 있는 탐지 방법의 필요성이 대두되고 있다.
- 기존 방법들은 단일 패스 사고 연쇄(chain-of-thought) 추론으로 짧거나 국소적인 흔적을 놓치거나, 고정된 멀티 에이전트 워크플로우로 조사 유연성이 부족했다.
- WeVisForensics는 메인 조사자 에이전트가 시각 및 음성 단서를 아우르는 자가 진화하는 포렌식 검사자 서브 에이전트 라이브러리를 조정하는 에이전트 프레임워크다.
- 조사자는 어떤 유형의 흔적을 검사할지, 어느 구간에서 검사할지, 언제 결론을 내릴지 학습하며, 이러한 상호작용은 양쪽 레벨의 에이전트에 공유 피드백을 제공한다.
- DTPO라는 이중 시간 척도 정책 최적화 전략을 통해 조사자는 강화학습으로 빠르게, 검사자들은 주석된 흔적 구간을 기반으로 느리게 개선되어 이전에 놓친 미묘한 흔적을 탐지한다.
- ForenCue-30K라는 데이터셋을 구축했으며, 역할별 포렌식 주석과 상호작용 궤적, 강화학습 풀로 개별 검사와 조정을 감독한다.
- 실험 결과 WeVisForensics는 도메인 내, 도메인 외, 에이전트 벤치마크에서 평균 95.2% 탐지 정확도를 달성했으며, 기존 최고 탐지 모델보다 9.0% 높으면서 국소적 증거에 기반해 판정을 내린다.