영상 이해 AI, 불확실할 땐 질문하게 하기
원제 AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding
추천 10댓글 4
Key Point
스트리밍 비디오 분석 AI가 정보 부족 상황을 인식하고 능동적으로 질문하도록 훈련할 수 있는지가 새로운 기술 과제가 되고 있기 때문입니다.
핵심 요약
- 멀티모달 대형언어모델의 발전으로 영상 이해 상호작용 방식이 오프라인에서 스트리밍, 주도적 상호작용으로 진화했고, 모델이 능동적으로 답할지 말지 결정하는 단계에 이르렀다.
- 기존 주도적 상호작용 방식은 답변에 필요한 정보가 완전하다고 가정해 모델이 대기하거나 답하기만 하도록 설계됐으나, 실제로는 영상이나 사용자 질문의 불확실성으로 정보가 불완전한 경우가 많다.
- 불완전한 정보 상황에서 기존 방식은 모델이 영원히 대기하거나 환각적 응답을 생성하는 문제를 야기한다.
- 이를 해결하기 위해 연구팀은 주도적 상호작용에 세 번째 동작인 '질문하기'를 추가하는 AskStream 벤치마크를 제안했다.
- 벤치마크는 4개 작업 카테고리, 8개 소작업으로 구성되며, 438개 영상에 2,714개의 프레임 단위 타임 윈도우를 수동으로 주석 처리했다.
- 각 타임 윈도우는 '대기', '질문', '답변' 세 가지 유형으로 분류된다.
- 객관식과 개방형 문제를 포함한 평가에서 최강 모델도 제안된 Ask-F1 지표에서 52.18%의 성능만 달성했다.
- 이는 불확실한 상황에서 모델의 정보 추구 능력에 상당한 한계가 있음을 보여준다.