비디오 생성 AI의 메모리 병목 풀다, 시간일관성 있는 2비트 양자화
원제 QuantWM: Temporally Consistent 2-Bit KV Cache Quantization for Video World Models
추천 13댓글 2
Key Point
비디오 생성 모델의 메모리 병목을 풀 수 있는 새로운 양자화 방식이 제시됐으며, 기존 방법과 다른 각도로 주의 집중 메커니즘을 보존하는 전략이 핵심이다.
핵심 요약
- 비디오 월드 모델은 생성 과정에서 KV 캐시를 저장해 장시간 시간적 일관성을 유지하지만, 늘어나는 캐시가 배포의 주요 병목이 되어 저비트 양자화 연구가 필요한 상황이다.
- 기존 2비트 KV 캐시 양자화 방식들은 VBench에서 거의 무손실 성능을 보이지만, 비디오 월드 모델에 적용하면 시간적 깜빡임과 시각적 품질 저하가 심각하게 발생한다.
- Key 양자화가 Value보다 재구성 오류는 작지만 예상과 달리 출력 품질 저하를 더 크게 야기한다는 점을 발견했고, 이는 Key 섭동이 주의 집중(attention) 로짓을 변화시켜 쿼리가 선택하는 시간-공간 토큰을 이동시키기 때문이다.
- QuantWM은 학습 없이 적용되는 2비트 KV 캐시 양자화 프레임워크로, 주의 집중 로짓과 시간-공간 토큰 선택을 보존하는 데 초점을 맞췄다.
- 양자화 민감도 인식 클러스터링(QSAC)은 과거 쿼리 민감도와 잔차 범위를 함께 고려해 INT2 친화적인 Key 중심점을 선택함으로써 주의 집중에 중요한 채널의 양자화 오류를 줄인다.
- 주요 부분공간 주의 집중 보상(PSAC)은 저차원 투영을 사용해 남은 Key 오류를 지배적인 쿼리 부분공간을 따라 복원해 주의 집중 로짓을 안정화한다.
- LingBot-World-v2, HY-World 1.5, Matrix-Game-2, Longcat-Video, Causal-Forcing 등 5개 벤치마크에서 QuantWM은 기존 방식을 능가하며 최대 6.20배의 KV 캐시 메모리 압축을 달성하고 추가 오버헤드는 제한적이다.