물체 항상성 학습으로 비디오 세계 모델 성능 끌어올렸다
원제 Training Object Permanence in World Models
추천 16댓글 1
Key Point
세계 모델이 물리 현상의 인지 구조를 학습할 수 있는지 검증하는 새로운 벤치마크와 대규모 학습 데이터셋이 공개됨으로써, 비디오 생성 모델의 추론 능력 발전을 측정할 기준이 생겼다.
핵심 요약
- 인지과학에서 영감을 얻은 WROP 데이터셋을 만들어 비디오 생성 모델의 물체 항상성 학습을 연구했다.
- 6개 인지 카테고리, 150개 손으로 설계한 과제로 구성되며 Blender로 1.5M 샘플을 생성했다.
- 14개 비디오 모델을 평가한 결과, 16B 파라미터 모델 PWM-WROP이 연속 비디오 생성 부문에서 1위를 기록했다.
- 비디오 생성, 편집, 연속 생성의 세 가지 방식 모델을 검증했으며 블라인드 Elo 평가로 성능을 측정했다.
- 학습 데이터, 평가 문제, 모델 가중치, 네이티브 PyTorch 스택(PWM)을 공개 공개했다.