장시간 영상의 객체 추적, 생애 기반 메모리로 풀다

핵심 요약

• 수시간 또는 수일 길이의 영상에서 질문에 답하려면 같은 객체가 관여한 사건들을 시간 범위를 넘어 연결해야 한다.
• 기존 시간 기반 설명이나 텍스트 기반 개체는 물리적 정체성을 구분하지 못해, 같은 객체의 관찰이 사건들 사이에 연결되지 않는 문제가 있다.
• 연구팀은 Grounded Entity Biographies(GEB)라는 긴 영상 메모리 프레임워크를 제안했다.
• GEB는 클립 전체에서 같은 물리적 인스턴스에 대한 시각적으로 기반한 관찰을 묶어서 검색 가능한 생애기록으로 만들면서도 각 순간의 맥락을 유지한다.
• 질문 답변 중에는 생애기록을 사건 증거와 함께 검색하여 모델이 메모리 구성 중에 확립된 정체성 연결을 따라 객체를 추적할 수 있게 한다.
• 하루 길이와 주(週) 길이 녹화를 포함한 4개 벤치마크에서 평가한 결과, 기존 메모리 프레임워크보다 객관식 및 개방형 질문 답변 모두에서 개선을 보였다.
• EgoLifeQA에서 GEB는 72.0% 정확도를 달성했으며, 이는 공개된 최고 결과보다 4.4 포인트 높다.
• 제거 연구(ablation study)는 기반한 정체성 연결과 생애 기록 읽기 모두 성능 향상에 기여하며, 추가 설명만으로는 이러한 이득을 완전히 회복할 수 없음을 보였다.