비디오 세계 모델의 실행 능력 진단, 메모리 테스트 분리

핵심 요약

• 비디오 세계 모델 평가에서 장면 설정, 변화 실행, 결과 표시를 하나의 점수로 묶으면 낮은 점수를 메모리 부족으로 오인하기 쉽다.
• 변화가 실행되지 않으면 숨은 상태 전이가 나타날 수 없어, 실제로는 메모리를 테스트하지 못한다.
• 연구팀은 MIST 평가를 제안했으며, 이는 변화를 그것이 남길 메모리와 분리한다.
• MIST에서는 모델이 먼저 장면을 설정한 후, 나중에 변화를 보도록 요청하며 정보 유출을 제어한다.
• 이 분리를 통해 병목을 파악했다: 모델은 장면은 설정하지만 지시받은 변화를 실행하지 않는다.
• 같은 간극이 일반 메모리 평가에서도 나타난다.
• 이를 바탕으로 M3-Agent(Make the Missing Move)를 제안했으며, 입력 지시사항을 반복적으로 수정해 모델이 요청한 변화를 성공적으로 실행하게 한다.
• 기준선 대비 MIST 드러내기 점수가 3배 이상 증가했다.
• WRBench 점수 T는 26.1%, MBench-T 점수 U는 52.7% 상승했다.
• 이 방법은 실행 측면에서 문제를 해결하며, 얼린 모델이 동작이 명확히 지시되면 할 수 있는 것을 보여준다.