물체 지속성 학습으로 세계 모델 강화하기
원제 Training Object Permanence in World Models
추천 203댓글 2
Key Point
최신 비디오 모델들이 물리적 추론 능력을 갖추고 있는지 체계적으로 검증하는 첫 대규모 인지과학 기반 벤치마크로, 이후 세계 모델 개발의 방향을 제시한다.
핵심 요약
- 비디오 생성 모델이 인간처럼 물체가 사라져도 존재한다는 사실(물체 지속성)을 이해하는지 검증하는 논문이다.
- 연구진은 인지과학 원리에서 영감을 받아 6개 범주의 150가지 인지 과제로 구성된 WROP 데이터셋을 제시했다.
- Blender를 이용해 속도, 조명, 카메라 각도 등을 무작위로 변화시키면서 각 과제의 인지 구조를 유지하여 작업당 10,000개 이상의 샘플을 생성했다.
- 1.5백만 샘플의 훈련 코퍼스와 300개 문제의 시험 세트를 공개했다.
- 14개 비디오 모델(참조-비디오 3개, 편집 7개, 연속 4개)을 평가했으며, 이 중 16B 매개변수 규모의 PWM-WROP은 블라인드 Elo 평가에서 연속 모델 중 1위, 전체 3위를 기록했다.
- 모델 가중치, 훈련 코드(PWM), 평가 답안과 점수를 AWS Trainium2에서 실행되는 자체 PyTorch 훈련 스택과 함께 공개했다.