영상 대화에서 LLM의 기억력 측정하는 벤치마크 공개

핵심 요약

• 멀티모달 LLM이 시간 단위 영상을 처리하면서 긴 대화를 나누는 사용 사례가 늘고 있는데, 이를 제대로 평가하지 못하는 문제가 있다.
• 기존 영상 질의응답 벤치마크는 각 질문이 독립적이고 이전 대화를 참고하지 않아, 대화 흐름에 따라 정보를 유지하는 능력(인컨텍스트 영상 기억)을 측정하지 못한다.
• 연구팀은 VideoMemBench를 제시했으며, 단일 영상에 장문의 멀티턴 대화를 연결하되 턴 간 의존성으로 구성했다.
• 에피소딕 의존성은 앞서 본 시각 정보를 참고하는 것이고, 답변 의존성은 모델 자신의 이전 답변을 기반으로 하는 것이다.
• 각 의존성은 필요성(이전 턴 없이는 답변 불가) 및 비누출성(이전 정보 재서술 금지) 두 가지 성질로 검증했다.
• 기획자·생성자·판정자 역할을 맡은 세 개의 LLM으로 구성 파이프라인을 설계하고 전문가 검토를 거쳤다.
• 벤치마크는 326개 영상, 2,476개 턴으로 이루어졌으며, 1,387개 턴이 이전 턴에 의존하고 다중 부모 의존성 및 장거리 콜백을 포함한다.
• 20개 이상의 오픈소스·폐쇄소스 모델을 평가한 결과, Claude Opus 5가 45.7% 점수로 최고 성능을 기록했으며 인컨텍스트 영상 기억의 어려움을 드러냈다.
• 데이터셋과 평가 도구를 공개했다.