비디오 월드 모델의 KV 캐시 병목 해결하는 Velox
원제 Velox: Spatial Memory Makes World Models Efficient
추천 18댓글 2
Key Point
비디오 기반 상호작용형 시뮬레이션에서 반응 속도가 중요한데, 기존 방식은 생성 길이가 늘어날수록 지수적으로 느려지는 메모리 병목이 있기 때문이다.
핵심 요약
- 비디오 월드 모델은 액션과 카메라 움직임으로 장시간의 시각적 생성물을 만들지만, KV 캐시가 계속 커져 뒷부분 청크 생성이 느려지는 문제가 있다.
- Velox는 학습 없이 작동하는 어텐션 라우터로, 스트리밍 기하학으로부터 카메라 frustum slab 대응을 이용해 영역 수준의 컨텍스트를 선택한다.
- 과거 블록을 깊이 간격이 있는 frustum slab으로 표현하고, 현재 블록의 깊이는 recency-priority multiwarp를 통해 구한다.
- 겹치는 영역에선 frustum slab 오버랩이 각 레이어의 중요도를 부드럽게 조절하고, 미처 커버되지 않은 영역은 기하학적 편향 없이 모델 예측을 유지한다.
- 고정된 토큰-블록 granularity는 FlashAttention 방식의 타일 실행과 맞춰 롤아웃 길이에 따라 증가하는 어텐션 항을 줄인다.
- Frustum slab 구성은 같은 H200에서 denoising과 비동기로 실행된다.
- 48번째 청크에서 Velox는 어텐션을 4.36배, denoising을 2.43배 가속화한다.
- WBench 네비게이션 분할의 158개 사례 전체에서 API-free 기준 dense LingBot-Fast-Cam 대비 0.15 포인트 이내 성능을 유지한다.