코드 월드 모델 2.0: 무한 길이 비디오 생성 도구 공개
원제 Code World Model 2.0: Towards Infinite Controllable Video Generation
추천 20댓글 2
Key Point
대규모 언어 모델 시대 이후 다음 프론티어인 비디오 이해·생성 모델의 실질적 발전으로, 사용자 조작에 응답하는 무한 길이 영상을 실시간으로 생성할 수 있는 단계에 진입했다는 의미다.
핵심 요약
- 영상 프록시를 활용해 명시적 세계 상태 시뮬레이션과 포토리얼리스틱 비디오 합성을 분리하는 방식으로, 오프라인 클립 제작과 실시간 인터랙티브 스트리밍 양쪽에 제어 인터페이스를 제공한다.
- 기존 접근의 두 가지 한계는 프록시 품질의 불일치(코arse 레이아웃부터 정밀한 articulated geometry까지 편차) 및 스트리밍 추론의 누적 drift로, 연쇄적 오류가 쌓인다는 점이다.
- Invoker-Render는 양방향 생성 모델과 4단계 인과 스트리밍 모델을 짝지어, 구조적 프록시·외형 참조·언어 기반 조건화 인터페이스를 공유한다.
- 약 200시간의 멀티 그래뉼러티 말뭉치로 학습해 정밀한 기하학적 제약이 주어질 땐 이를 따르고, 코arse 프록시 하에선 그럴듯한 국소 모션을 합성하며, 런타임에 입력 디테일 수준을 선택할 수 있다.
- 양방향 생성과 실시간 스트리밍을 연결하면서 단계 압축·rollout drift를 복합하지 않기 위해 Progressive Forcing(ProForcing)을 도입했다.
- ProForcing은 먼저 인과 predictor를 학습한 후 훈련 영상에서 도출한 히스토리로 4단계 렌더러로 증류하고, 그 다음 자가생성 rollout 연속 학습으로 전환한다.
- 파이프라인 serving 스택으로 효율적인 스트리밍 추론을 지원한다.
- 실험 결과 여러 프록시 종류·그래뉼러티·카메라 경로에 걸쳐 다양한 제어가 가능하고, 최근 스트리밍 베이스라인 대비 지속적 성능 향상을 보이며, 30분 레이싱 rollout에서도 장면과 대상 외형을 안정적으로 보존한다.