확산 모델의 4단계 생성, 속도 대립적 증류로 정확도 높인다
원제 VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation
추천 12댓글 1
Key Point
적은 샘플링 스텝에서도 높은 생성 품질을 유지하는 새로운 증류 방법이 텍스트-이미지, 텍스트-비디오 등 실용적인 생성 작업에 즉시 적용될 수 있다.
핵심 요약
- 적은 샘플링 스텝으로도 고품질을 유지하는 확산 및 흐름 모델 증류가 과제인데, 기존 스코어 증류는 중간 단계에서 학생 모델의 분포 추적이 어렵다는 한계가 있다.
- 흐름 일치 방식은 학생의 샘플링 과정에서 구성한 속도 필드를 통해 더 유연한 감독을 제공한다.
- 연구팀은 학습된 비평자를 사용해 학생과 교사의 속도 필드를 비교하고 불일치를 피드백으로 삼는 속도 대립적 증류(VAD)를 제안했다.
- VAD는 스코어 증류, 피셔 기반 일치, 모멘트 일치를 통합하며 기존 MMD 업데이트 휴리스틱을 설명하고 새로운 훈련 목표를 제시한다.
- VA-TDM은 궤적 분포 일치를 따르면서 학생 궤적을 따라 부분 노이징 제거에 감독을 제공하고, 전환 인식 온라인 속도 학습과 중간 학생 전환 단계에서 이중 형태 VAD 감독을 결합한다.
- 텍스트-이미지, 텍스트-비디오 생성에서 4단계 최고 성능을 달성했으며, 33B 규모의 MiniMax-H3 모델로도 확장된다.
- 특히 VA-TDM-H3는 빠른 버전 Fast-H3를 크게 앞돌리고 원본 다단계 H3에 가까운 성능을 인간 평가에서 보였다.