장시간 비디오에서 사건 추론하는 새로운 과제 Event-STVG 제시
원제 Event-STVG: Spatio-Temporal Video Grounding for Long-Form Event Reasoning
추천 18댓글 2
Key Point
비디오 이해 AI의 현재 한계를 실제 벤치마크로 검증하며, 장시간 사건 추론이라는 새로운 요구에 맞춘 모델 개발 방향을 제시한다.
핵심 요약
- 기존 시공간 비디오 그라운딩(STVG)은 자연어 질의로부터 비디오 내 대상을 시간과 공간에 걸쳐 정확히 찾는 작업이었으나, 개별 인스턴스 설명에만 초점을 맞춰 장시간 추론 능력이 부족했다.
- Event-STVG는 STVG를 단순 객체 검색에서 사건 수준의 추론으로 확장하는 새로운 과제로, 장시간 문맥 이해, 반복되는 사건 구분, 사건 위치 파악, 역할 추론, 다중 대상 그라운딩을 통합한다.
- 축구를 포함한 8개 도메인에서 총 4,016개의 사건 발생을 주석 처리한 대규모 벤치마크를 구축했다.
- 최첨단 멀티모달 대규모언어모델(MLLM) 실험 결과, 가장 강한 모델도 10분 길이 비디오에서 5.4% m-vIoU만 달성하며 상당한 어려움이 드러났다.
- 반복되는 같은 유형의 사건 구분, 공간적 위치 파악, 필요한 모든 역할의 동시 그라운딩에서 일관되게 낮은 성능을 보인다.
- Event-STVG는 MLLM의 시각 이해 능력에 새로운 도전을 제기하며, 미래 모델들이 시공간을 아우르는 복잡한 사건을 함께 추론할 수 있어야 함을 보여준다.
- 코드와 주석은 GitHub에서 공개된다.