동영상을 36ms에 생성하는 FastFrames 공개
원제 FastFrames: Video Generation at Interactive Latency
추천 29댓글 6
Key Point
대화형 비디오 생성에 필요한 36ms 지연시간을 달성해, 카메라나 센서 입력을 반영한 실시간 애플리케이션 개발이 현실적으로 가능해진다.
핵심 요약
- 기존의 자동회귀 비디오 확산 모델(autoregressive video diffusion)은 대화형 비주얼 애플리케이션에 쓰기에 너무 느린 문제가 있다.
- 논문은 추론 과정에서 VAE 디코딩과 KV 캐시 업데이트 같은 작업들이 전체 지연시간의 절반 이상을 차지한다는 것을 발견했다.
- 연구팀은 이러한 고정된 요소라고 여겨지던 부분을 가볍게 대체하여 FastFrames 모델군을 개발했다.
- 1.3B 모델은 단일 B200 GPU에서 초당 36ms(초당 28개 프레임)로 작동하며, 기존 최첨단 모델(8배 느림)과 같은 생성 품질을 낸다.
- 14B 모델은 8개 B200 GPU 노드에서 초당 45ms(초당 22개 프레임)로 운영되며 훨씬 나은 시각 품질과 사실성을 제공한다.
- 카메라 입력 조건이나 물리 시뮬레이션 조건의 비디오 생성처럼 실시간 상호작용이 필요한 애플리케이션을 가능하게 한다.