장시간 영상의 객체 추적, 생애 기반 메모리로 풀다
Key Point
장시간 영상에서 같은 객체가 여러 사건에 걸쳐 나타날 때 시각적 정체성을 추적하는 문제를 푸는 새로운 접근법이 공개되었으며, 이는 비디오 이해 AI의 실용성을 크게 높인다.
핵심 요약
- 수시간 또는 수일 길이의 영상에서 질문에 답하려면 같은 객체가 관여한 사건들을 시간 범위를 넘어 연결해야 한다.
- 기존 시간 기반 설명이나 텍스트 기반 개체는 물리적 정체성을 구분하지 못해, 같은 객체의 관찰이 사건들 사이에 연결되지 않는 문제가 있다.
- 연구팀은 Grounded Entity Biographies(GEB)라는 긴 영상 메모리 프레임워크를 제안했다.