실시간 응답하면서 긴 시간 일관성 유지하는 세계 모델 공개
원제 WorldPlay2: Extending Real-Time Interactive World Models in Control and Horizon
추천 23댓글 1
Key Point
대규모 언어 모델 기반 세계 모델이 실시간 제어 응답과 장시간 예측의 두 가지 모순된 요구를 동시에 만족시켜야 하는 상황에서, 기술적 혁신을 통해 두 가지 성능을 모두 달성하는 방법론을 제시하기 때문이다.
핵심 요약
- 실시간 대응과 장기간 일관성을 동시에 달성해야 하는 인터랙티브 월드모델에서, 다양한 제어 신호 처리와 맥락 폭증, 불안정한 증류가 핵심 과제였다.
- WorldPlay2는 분해된 하이브리드 제어 인터페이스와 압축 메모리·안정적 증류의 결합을 통해 이 문제를 해결한다.
- 제어 인터페이스는 프레임 정렬 액션 제어와 구조화된 의미적 제어를 통합해 장면 모양, 캐릭터 정체성, 동적 의미 이벤트를 명시적으로 분리함으로써 효과적 학습을 지원한다.
- 역사적 맥락을 자기회귀 학생 모델과 양방향 교사 모델이 공유하는 컴팩트한 메모리 토큰으로 압축해 효율적 장기간 모델링을 구현한다.
- 클립 단위의 메모리 조건부 점수 평가를 통해 긴 롤아웃 전체를 함께 처리하는 대신 증류 오버헤드를 대폭 감소시킨다.
- Stable Forcing 기법은 자기회귀 학생을 몇 단계 전략으로 초기화하고 전체 롤아웃 재생을 활용해 장기간 예측의 품질을 보존하면서 안정적 증류를 보장한다.
- 광범위한 실험에서 WorldPlay2의 우수한 일반화 능력과 기존 방법 대비 우월한 성능을 입증했다.