비디오 세계 모델의 예측 오차, 물리적 놀라움을 재대로 측정하지 못한다

핵심 요약

• 비디오 생성 AI의 예측 오차는 물리적으로 불가능한 사건을 감지하는 지표로 사용되지만, 실제로는 물체 색상·모양 변화나 일반적인 예측 어려움도 함께 반영된다.
• 연구팀은 고정된 표현이 무엇을 담고 있는지, 물리적 변화와 겉모습 변화를 어떻게 구별하는지, 모델의 예측 오차를 무엇이 변화시키는지 분리해 평가하는 프레임워크를 개발했다.
• IntPhys2 벤치마크에서 V-JEPA2 모델을 포함한 여러 표현(잠재 예측, 마스킹된 픽셀 재구성, 시각 통계)을 비교한 결과, 물리적 가능성·불가능성에 대한 정보는 적게 포함했다.
• 표현의 기하학적 구조를 분석하면 깊은 층으로 갈수록 겉모습 변화는 작아지지만, 물리적 변화와의 중복이 감소해 두 요소를 구분하기 어려워진다.
• 행동 조건을 주는 모델들은 잘못된 행동 명령에 예측 오차가 증가하지만, 겉모습 변화도 같은 수준의 응답을 일으킨다.
• Physion++ 데이터셋에서 단일 프레임 반복은 원본 영상보다 높은 오차를 내고, 색상 변화는 오차를 낮추며, Kubric 시뮬레이션에서는 물리적으로 불가능한 사건이 가능한 사건보다 낮은 오차를 낸다.
• 고정된 오차 임계값 기준으로는 많은 물리적으로 가능한 사건들이 불가능하다고 잘못 판정된다.
• 결론적으로 모델이 물리 정보를 표현하고 잘못된 행동에 응답하더라도, 예측 오차 자체는 물리적 놀라움을 신뢰할 수 있게 측정하지 못한다.