확산 변환기의 희소 주의 문제, 훈련 없이 해결
원제 MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers
추천 38댓글 2
Key Point
긴 시퀀스 생성 작업의 병목인 희소 주의의 품질 저하 문제를 훈련 없이 근본적으로 해결해 실용적 가속을 달성했다.
핵심 요약
- 확산 변환기에서 긴 시퀀스 생성(영상, 3D 자산)을 가속할 때 희소 주의를 쓰면 생성 품질이 떨어지는 문제가 있다.
- 연구팀은 품질 저하 원인을 세 가지로 분석했다: 토큰 그룹화 제약, 부정확한 상호작용 선택, 폐기된 토큰의 주의 기여 손실이다.
- 이를 바탕으로 메타 캐시 희소 주의(MC-Sparse)를 제안했다. 훈련이 필요 없는 프레임워크로, 개별 키-값 토큰을 선택하면서 유사한 쿼리들을 타일 정렬 그룹으로 묶어 GPU 실행을 효율화한다.
- MC-Sparse는 쿼리 그룹, 정확한 주의 확률로 선택된 KV 인덱스, 밀집-희소 주의 출력의 잔여값으로 이루어진 메타데이터를 캐시했다가 다음 노이징 제거 단계에서 재사용한다.
- 비디오와 3D 생성 모델에서 기존 희소 주의 방식보다 높은 충실도를 유지하고 더 큰 속도 개선을 달성했다.
- 밀집 주의 대비 Minimax-H3-Base에서 1.80배, 3D 자산 생성에서 2.32배 노이징 제거 속도 개선을 얻었으며 품질 손실은 무시할 수준이다.