비디오 세계 모델의 기억력 평가 벤치마크 등장

핵심 요약

• 동영상 생성 AI가 더 길고 현실적인 상호작용을 가능하게 하면서 일관된 가상 세계를 유지하는 것이 핵심 과제가 되고 있다.
• 세계 기억력(world memory)은 시각 품질이나 영상 길이와 함께 평가해야 할 중요한 능력인데, 이를 체계적으로 측정할 방법이 없었다.
• 연구팀이 WorldMemBench를 개발했으며, 260개 테스트 케이스를 통해 정적 기억(사람의 정체성·외형, 물체 형태·배치, 환경 내용·구조)과 동적 기억(사건 진행, 상태 지속)을 평가한다.
• 제어된 카메라 움직임과 재방문 경로를 활용해 정적 콘텐츠는 초기 참조값과 비교하고, 동적 사건은 예상된 상태 변화와 대조한다.
• 평가 지표는 외형과 기하학적 메트릭, 사건별 평가, 영상 품질, 카메라 추종 정확도를 포함한다.
• 9개 대표 모델 평가 결과, 정적 요소를 잘 유지하는 모델도 동적 상태 진화는 불안정할 수 있으며, 반복된 재방문에서 첫 귀환 이후 기억이 저하되는 경향을 발견했다.
• 인간 평가 연구는 자동화된 평가와 인간의 판단이 일치함을 확인했다.