확산 모델 가속, 게이트 재구성에서 비롯된다

핵심 요약

• REPA, dispersive regularization 등 확산 트랜스포머 학습 가속 기법들이 작동하는 방식을 재검토한 논문이다.
• 기존에는 추가 감독(auxiliary objectives), 공간 구조 우선순위, 개선된 특성 기하학으로 설명했으나 실제 핵심은 다르다.
• AdaLN-Zero 잔차 게이트 α가 가속 방법들에 의해 대폭 재구성되며, 이것이 가속의 주요 원인임을 밝혔다.
• α는 조건부 업데이트가 잔차 흐름에 진입하는 방식을 직접 제어하는 역할을 한다.
• 가속된 모델은 α 섭동에 현저히 더 민감하며, 게이트 기하학이 클래스 간 의미론적 관계를 반영한다.
• 채널 조직을 특성화하기 위해 정규화된 참여 비율(nPR)을 도입하고, 광범위한 게이트 참여가 더 나은 생성 품질을 동반함을 발견했다.
• 이 통찰에 기반해 특성-노름 정규화를 통해 광범위한 게이트 참여를 촉진하는 교사 없는 방사형 목적함수를 제안했다.
• ImageNet 256×256, SiT-B/2에서 제안 방법은 dispersive loss를 능가하는 FID를 달성하며 시간 및 클래스 전반에 걸쳐 평균 게이트 참여를 증가시켰다.