이미지·영상 생성 속도를 6배 높이는 스펙트럼 필터링 기법
원제 SpecKCast: Spectral Kalman Forecasting for Diffusion Acceleration
추천 27댓글 1
Key Point
확산 모델 기반 생성 AI의 추론 속도가 실무적 병목이 되는 상황에서, 화질 손실을 최소화하면서 최대 6배 가속이 가능한 기법이 제시됨으로써 생성 모델의 배포 효율을 크게 개선할 수 있다.
핵심 요약
- 확산 트랜스포머(DiT)는 고품질 이미지·영상을 생성하지만 반복되는 트랜스포머 평가로 추론 비용이 크게 든다.
- 기존 캐싱은 특성을 재사용하고, 예측 방식은 건너뛴 단계의 특성을 외삽(extrapolation)하지만, 공간-주파수 성분이 잡음 제거 과정의 다양한 단계에서 서로 다르게 변한다는 점을 간과한다.
- 또한 잡음 제거는 비균등하게 진행되므로 같은 간격의 스텝도 실제로는 크기 다른 변화에 해당하는데, 이 불일치가 건너뛴 단계가 많아질수록 예측 오류를 증폭시킨다.
- SpecKCast는 훈련 없이 주파수 영역에서 모델 출력을 예측하는 방식이다.
- 2D 이산 코사인 변환(DCT)을 적용한 뒤 각 계수를 잡음 일정(noise schedule)에서 유도한 대역별 시간 좌표를 따라 경량 칼만 필터(Kalman filter)로 추적한다.
- 필터는 각 계수의 값과 변화율을 동시에 추적하며, 필터의 예측 불확실도가 임계값을 넘을 때만 트랜스포머를 평가한다.
- FLUX.1-dev, Qwen-Image, Wan2.1-14B, HunyuanVideo에서 기존 캐싱·예측 방식보다 가속과 화질의 균형이 우수하며, 추가 메모리 0.05 GiB 미만으로 최대 6배 속도향상을 달성했다.