실시간 장편 영상 생성 위해 '웨이브 포싱' 기법 제시

핵심 요약

• 실시간 장편 영상 생성을 위해 Wave Forcing(WF) 기법을 제안했다. 기존 청크 단위 자동회귀 방식은 직렬화된 노이즈 제거와 캐시 갱신으로 인해 한 단계 노이즈 제거에도 두 번의 순전파가 필요했다.
• WF는 청크별 인과 주의 메커니즘으로 노이즈 제거가 완료되기 전 더 깨끗한 과거 청크에 먼저 접근하고, 엇갈린 노이즈 제거와 캐시 갱신 단계를 모델 복제본들에 분산시켜 파이프라인 충전 후 한 번의 순전파 라운드마다 하나의 출력 청크를 생성한다(1F1C).
• 모델을 연속 생성 프로세스에 적응시키기 위해 혼합 노이즈 노이즈 제거, 움직임 감독, 자체 생성 히스토리를 이용한 인과 적응을 순차적으로 도입하는 3단계 훈련 절차를 개발했다.
• 실행 효율성을 위해 Wave Runtime(WaveRT)과 Wave Parallelism(WP)을 개발했으며, WP는 초기 K/V 전달과 통신-계산 오버랩을 지원하고 최적화된 커널과 파이프라인 VAE 디코딩을 함께 제공한다.
• Wan2.1-T2V-1.3B에서 5단계 WF는 Rolling Forcing과 비슷한 전체 품질을 유지하면서 짧은 영상과 긴 영상 모두에서 더 높은 Dynamic Degree를 달성했다.
• 8개 H200 GPU에서 4단계 WF는 147.6 DiT FPS와 134.8 종단간 FPS를 기록해 단일 GPU 종단간 처리량의 7.07배를 달성했다.
• 동일한 SageAttention+W8A8 백엔드, 노이즈 제거 단계, GPU 개수로 비교한 DiT 전용 테스트에서 WP는 1.3B~14B 모델 6개 규모에 걸쳐 Ulysses와 Ring 컨텍스트 병렬 기법 중 더 빠른 방식보다 최대 2.53배의 처리량을 기록했다.