Hugging Face 논문AI · 머신러닝오늘의 주요

물체 지속성 학습으로 세계 모델 강화하기

원제 Training Object Permanence in World Models

추천 203댓글 2Haotian Zhang, Fengyuan Yu, Dezhi Luo 외
Key Point

최신 비디오 모델들이 물리적 추론 능력을 갖추고 있는지 체계적으로 검증하는 첫 대규모 인지과학 기반 벤치마크로, 이후 세계 모델 개발의 방향을 제시한다.

핵심 요약

  • 비디오 생성 모델이 인간처럼 물체가 사라져도 존재한다는 사실(물체 지속성)을 이해하는지 검증하는 논문이다.
  • 연구진은 인지과학 원리에서 영감을 받아 6개 범주의 150가지 인지 과제로 구성된 WROP 데이터셋을 제시했다.
  • Blender를 이용해 속도, 조명, 카메라 각도 등을 무작위로 변화시키면서 각 과제의 인지 구조를 유지하여 작업당 10,000개 이상의 샘플을 생성했다.
  • 1.5백만 샘플의 훈련 코퍼스와 300개 문제의 시험 세트를 공개했다.
  • 14개 비디오 모델(참조-비디오 3개, 편집 7개, 연속 4개)을 평가했으며, 이 중 16B 매개변수 규모의 PWM-WROP은 블라인드 Elo 평가에서 연속 모델 중 1위, 전체 3위를 기록했다.
  • 모델 가중치, 훈련 코드(PWM), 평가 답안과 점수를 AWS Trainium2에서 실행되는 자체 PyTorch 훈련 스택과 함께 공개했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗