영상 세계 모델, 프레임률을 자유롭게 조절하다

핵심 요약

• 기존 영상 기반 인터랙티브 세계 모델은 고정된 시간 속도로만 학습·생성되어, 실행 속도가 다르면 의도와 달리 느리거나 빠르게 진행되는 문제가 있었다.
• 또한 단일 프레임률로는 정교한 모션 캡처와 긴 시간 지평 사이의 트레이드오프를 피할 수 없었다: 높은 프레임률은 미세한 움직임을 포착하지만 컨텍스트 윈도우 내에서 짧은 기간만 커버한다.
• 논문이 제시하는 RAR(Rate-Adaptive Rollout)은 세계 모델이 제어 가능한 시간 속도로 생성할 수 있게 한다.
• 핵심 기술인 Stride-RoPE는 다양한 속도로 샘플링된 잠재 프레임을 공통의 물리적 시간 좌표에 정렬하여, 다중 속도 생성, 학습하지 않은 속도로의 일반화, 이력을 버리지 않는 온라인 속도 전환을 가능하게 한다.
• RAR은 다중 스트라이드 영상 샘플링을 통해 정밀한 동역학과 장기 진화를 함께 학습한다.
• 실험 결과, 작용·카메라 제어 환경 모두에서 시간적으로 일관된 다중 속도 생성과 온라인 속도 전환을 달성하면서도 높은 프레임률 생성 품질을 유지하고 동일한 훈련 예산 하에서 물리적 지평을 확장했다.
• 또한 기존 사전학습 세계 모델에 적용해도 지각적 품질을 보존한다.