Hugging Face 논문AI · 머신러닝

동영상을 36ms에 생성하는 FastFrames 공개

원제 FastFrames: Video Generation at Interactive Latency

추천 29댓글 6Gene Chou, Guandao Yang, Fujun Luan 외
Key Point

대화형 비디오 생성에 필요한 36ms 지연시간을 달성해, 카메라나 센서 입력을 반영한 실시간 애플리케이션 개발이 현실적으로 가능해진다.

핵심 요약

  • 기존의 자동회귀 비디오 확산 모델(autoregressive video diffusion)은 대화형 비주얼 애플리케이션에 쓰기에 너무 느린 문제가 있다.
  • 논문은 추론 과정에서 VAE 디코딩과 KV 캐시 업데이트 같은 작업들이 전체 지연시간의 절반 이상을 차지한다는 것을 발견했다.
  • 연구팀은 이러한 고정된 요소라고 여겨지던 부분을 가볍게 대체하여 FastFrames 모델군을 개발했다.
  • 1.3B 모델은 단일 B200 GPU에서 초당 36ms(초당 28개 프레임)로 작동하며, 기존 최첨단 모델(8배 느림)과 같은 생성 품질을 낸다.
  • 14B 모델은 8개 B200 GPU 노드에서 초당 45ms(초당 22개 프레임)로 운영되며 훨씬 나은 시각 품질과 사실성을 제공한다.
  • 카메라 입력 조건이나 물리 시뮬레이션 조건의 비디오 생성처럼 실시간 상호작용이 필요한 애플리케이션을 가능하게 한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗