영상 생성 AI의 주의 계산 최적화, 훈련 없이 처리 시간 단축
원제 Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers
추천 23댓글 3
Key Point
비디오 생성 모델의 추론 속도를 실질적으로 단축할 수 있는 실용적 최적화 방법을 제시하며, 훈련 없이 적용 가능해 즉시 도입할 수 있다.
핵심 요약
- 비디오 확산 트랜스포머의 3D 어텐션 계산이 비용이 많이 드는 문제를 해결하기 위해 블록-스파스(block-sparse) 어텐션이 사용되지만, 기존 방법들은 스파시티 할당을 최적화하지 못하거나 휴리스틱에만 의존한다.
- 연구팀은 다른 레이어와 디노이징 단계에서 어텐션 스파시티를 줄일 때 최종 영상 품질에 영향을 주는 정도가 크게 다르다는 것을 발견했다.
- 중요한 발견은 품질에 가장 민감한 레이어-단계 조합이 입력 데이터에 관계없이 거의 변하지 않는다는 점이다.
- 이를 바탕으로 ALLOT(Allocating Layer-step Latency by Output Tests) 방법을 제안했는데, 훈련 없이 각 레이어-단계 쌍의 최종 영상 오차 기여도를 측정한다.
- ALLOT은 셀 프로빙(cell probing)과 궤적 보정(trajectory calibration)으로 기여도를 추정한 후, 측정된 지연 시간 예산 범위 내에서 각 셀의 밀도를 최적화한다.
- 기존 선택 전략과 커널은 유지하면서 할당 부분만 교체한다.
- 같거나 더 짧은 실행 시간에서 XAttention 기준 모든 할당 전략을 능가하며, HunyuanVideo에서 11.8 dB PSNR 향상을 달성했다.
- 4개 추가 파이프라인에서 Wanx2.1, Wanx2.2, HunyuanVideo 총 9가지 설정을 테스트한 결과, ALLOT은 모든 경우에서 기본 방식 이상의 성능을 보였다.