동영상 세계 모델을 명시적 토큰으로 제어하는 'World-in-Context'
원제 World-in-Context: Interactive Video World Modeling with In-Context Conditioning
추천 27댓글 2
Key Point
비디오 생성 모델에서 시점과 동작 제어를 명시적 토큰으로 통일한 새로운 접근이 기존 대형 모델(22B)과 같은 성능을 훨씬 작은 모델(5B)에서 달성하는 방식의 전환을 보여준다.
핵심 요약
- Interactive video world modeling은 시점, 캐릭터 동작, 카메라 움직임을 조정해야 하는데, 기존 방식은 이들을 텍스트에 숨기거나 혼재시키고 분산된 구조로만 제어했다.
- World-in-Context는 In-Context Conditioning(ICC) 방식으로 시점, 동작, 카메라 제어를 명시적 토큰으로 통일하고 Self-Attention 공간에 직접 포함시킨다.
- 명시적 시점 토큰은 충돌하는 역학을 분리하고 단일 시점 데이터에서 시점 전환을 창발적으로 가능케 하며, 동작과 카메라는 각각 지역적 반응성과 전역적 안정성을 보완한다.
- 실행 구간 간 시간적 연속성을 유지하기 위해 Interaction-Transport RoPE(IT-RoPE)를 도입해 누적된 제어 전환으로 시간 어텐션을 매개변수화한다.
- WBench에서 World-in-Context-5B는 22B EchoWM과 같은 수준의 네비게이션 성능(81.5 vs 81.6)을 달성하고 93.8% 시점 전환 성공률을 보였으며, 5B 기존 모델(18.8%)을 크게 능가한다.
- 더 풍부한 조건 조합, 데이터 효율성, 인과적 롤아웃에 적용했을 때 누적 이점을 나타낸다.