영상 생성 속도 2배 이상 높인 경량 VAE 기법 공개
원제 LightVAE: Towards Compact and Efficient Video Autoencoders
추천 16댓글 2
Key Point
영상 생성 모델의 추론 속도를 2배 이상 높일 수 있는 기술이 공개되어, 실시간 영상 생성 서비스의 비용과 성능을 크게 개선할 수 있게 되었다.
핵심 요약
- 영상 확산 모델의 성능은 좋지만, VAE 인코딩과 디코딩에 높은 계산 비용이 들어가는 것이 문제이다.
- 기존 방식은 공간과 시간 계산을 함께 제약하거나 시간 계산을 제거했으나, Conv3D에서 두 차원의 압축 민감도를 구분하지 못했다.
- LightVAE는 시간 모델링과 네트워크 깊이의 중복성을 이용하는 압축 프레임워크다.
- 인과 Conv3D 레이어를 집계 공간 응답과 차이 기반 시간 보정으로 재매개변수화한다.
- 시간 저랭크 압축(TLR)은 집계 공간 커널을 유지하면서 시간 보정에만 계층별 저랭크 근사를 적용한다.
- 폴딩된 구현으로 산술 절감을 실제 가속으로 전환하고, 너비 보존 블록 프루닝으로 깊이를 줄인다.
- 동결된 교사 모델의 피드백으로 안내되는 프로브 기반 특성 정렬로 압축 후 품질을 회복한다.
- 영상 인코더로도 확장 가능하다.
- Wan VAE 계열에서 NVIDIA H100 기준 기존 효율적 VAE 대비 2.24배, RTX 5090에서 1.11배 디코딩 처리량을 달성했다.
- DAVIS PSNR은 더 높고 LPIPS는 더 낮아 화질이 개선된다.
- MiniMax-H3에서는 원본 모델 대비 2.97배 디코딩 속도를 달성하면서 VBench-2.0 점수 99.51%를 유지했다.
- 코드는 GitHub에 공개되었다.