비디오 생성 속도 11배 빠르게, 압축 자동인코더 호환 유지
원제 GRACE: Generation-aware latent compression for efficient video generation
추천 75댓글 2
Key Point
비디오 확산 모델 추론 속도의 주요 병목인 토큰 수 감소를 기존 학습 모델 호환성을 해치지 않으면서 달성한 실질적 가속 기술이기 때문이다.
핵심 요약
- 비디오 확산 모델의 속도를 높이기 위해 자동인코더를 고도로 압축할 때, 압축률이 높아질수록 재구성 품질이 나빠지고 복구에 더 많은 채널이 필요해 수렴이 느려지는 문제가 있다.
- 압축된 잠재벡터가 기존에 학습된 잠재벡터와 달라져서, 사전학습된 Diffusion Transformer(DiT)를 처음부터 다시 학습하거나 비용이 큰 적응이 필요했다.
- GRACE는 두 단계로 나뉘는데, 먼저 사전학습된 인코더의 기본 잠재벡터는 고정하고 압축으로 손실된 정보를 위해 잔차 잠재벡터를 학습한다.
- 압축된 잠재벡터를 고정된 DiT의 특성 공간에 정렬하여 생성 품질을 위해 자동인코더를 최적화한다.
- 다음으로 가벼운 미세 조정과 비대칭 노이징으로 DiT를 적응시키는데, 기본 부분을 잔차 부분보다 먼저 노이징 제거한다.
- Wan2.1-I2V-14B에서 토큰 개수를 8배 줄이고, 480x832x81 해상도에서 레이턴시를 11.1배 단축했으면서도 사전학습된 파이프라인의 생성 품질을 VBench에서 유지했다.