이미지 속 상황의 진위를 판단하는 AI 에이전트 EviScene
원제 EviScene: Beyond "Is It AI?" for Agentic Image Factuality Assessment
추천 53댓글 2
Key Point
이미지 조작이 늘어나는 환경에서 단순 AI 생성 여부가 아니라 그 장면의 실제 사실성을 검증할 수 있는 자동화된 방법이 중요해지고 있기 때문이다.
핵심 요약
- 이미지가 AI 생성인지 판별하는 것만으로는 그 장면이 사실인지 알 수 없다는 문제를 해결하기 위해 Image Factuality Assessment 작업을 정의했다.
- 이미지와 검증 지시문이 주어졌을 때 시스템이 지지 또는 반박 판정과 근거 기반 설명을 제시하는 방식으로, 텍스트 주장이 없어도 조사 중 점진적으로 팩트 질문을 정교화하고 외부 증거와 비교한다.
- 통제 생성과 웹 수집으로 만든 1만 174개 이미지(지지/반박)를 포함하며 12가지 팩트 오류 유형을 다루는 EviLens 벤치마크를 구축했다.
- EviScene은 멀티모달 ReAct 에이전트로서 시각 검사, 외부 검색, 증거 분석을 번갈아 수행하며 새로운 발견으로 질문을 정교화하고 관련 이미지 세부 사항을 재검토한다.
- 1,527개 테스트 이미지에서 Qwen3.5-9B 에이전트가 균형 정확도 79.05%, 엄격한 증거 충분성(SESR) 52.26%를 달성했다.
- 같은 백본 기본 에이전트 대비 각각 6.71, 9.37 퍼센트포인트 개선했으며 SESR은 평가된 모든 에이전트 중 가장 높다.
- 감독형 미세 조정으로 정책을 학습한 뒤 검증된 결정에 대해 특권 온폴리시 자기 증류를 적용했다.