Hugging Face 논문AI · 머신러닝

코드 월드 모델 2.0: 무한 길이 비디오 생성 도구 공개

원제 Code World Model 2.0: Towards Infinite Controllable Video Generation

추천 20댓글 2Ruoyu Wang, Hao Zhong, Yanming Yang 외
Key Point

대규모 언어 모델 시대 이후 다음 프론티어인 비디오 이해·생성 모델의 실질적 발전으로, 사용자 조작에 응답하는 무한 길이 영상을 실시간으로 생성할 수 있는 단계에 진입했다는 의미다.

핵심 요약

  • 영상 프록시를 활용해 명시적 세계 상태 시뮬레이션과 포토리얼리스틱 비디오 합성을 분리하는 방식으로, 오프라인 클립 제작과 실시간 인터랙티브 스트리밍 양쪽에 제어 인터페이스를 제공한다.
  • 기존 접근의 두 가지 한계는 프록시 품질의 불일치(코arse 레이아웃부터 정밀한 articulated geometry까지 편차) 및 스트리밍 추론의 누적 drift로, 연쇄적 오류가 쌓인다는 점이다.
  • Invoker-Render는 양방향 생성 모델과 4단계 인과 스트리밍 모델을 짝지어, 구조적 프록시·외형 참조·언어 기반 조건화 인터페이스를 공유한다.
  • 약 200시간의 멀티 그래뉼러티 말뭉치로 학습해 정밀한 기하학적 제약이 주어질 땐 이를 따르고, 코arse 프록시 하에선 그럴듯한 국소 모션을 합성하며, 런타임에 입력 디테일 수준을 선택할 수 있다.
  • 양방향 생성과 실시간 스트리밍을 연결하면서 단계 압축·rollout drift를 복합하지 않기 위해 Progressive Forcing(ProForcing)을 도입했다.
  • ProForcing은 먼저 인과 predictor를 학습한 후 훈련 영상에서 도출한 히스토리로 4단계 렌더러로 증류하고, 그 다음 자가생성 rollout 연속 학습으로 전환한다.
  • 파이프라인 serving 스택으로 효율적인 스트리밍 추론을 지원한다.
  • 실험 결과 여러 프록시 종류·그래뉼러티·카메라 경로에 걸쳐 다양한 제어가 가능하고, 최근 스트리밍 베이스라인 대비 지속적 성능 향상을 보이며, 30분 레이싱 rollout에서도 장면과 대상 외형을 안정적으로 보존한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗