적응형 전문가 혼합으로 확산 모델의 소수 단계 생성 개선
원제 E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models
추천 60댓글 2
Key Point
확산 모델의 가장 큰 장점인 소수 단계 고속 생성을 개선하는 새로운 방법으로, 기존 접근법의 근본적인 문제(후방 붕괴)를 회피하면서 매개변수 효율성을 유지한다.
핵심 요약
- 마스크 확산 모델(MDM)은 각 제거 단계에서 여러 토큰을 점진적으로 해제하여 시퀀스를 생성하지만, 기존 역프로세스는 위치별로 분해되어 있어 소수 단계 영역의 샘플 품질을 제한한다.
- 최근 연구는 위치 간 상관관계를 포착하기 위해 변분 자동인코더로 학습된 연속 가우시안 잠재변수를 도입했으나, 이러한 접근법은 잠재변수가 무시되는 후방 붕괴(posterior collapse) 문제에 빠지기 쉽다.
- 본 논문은 강화된 혼합-전문가(E-MoE) 방법을 제안하며, MoE 백본의 전문가 라우팅 결정으로 주어진 이산 공유 잠재변수에 대한 분해된 분포의 혼합으로 역프로세스를 구성한다.
- E-MoE는 분해된 기준선 대비 활성 매개변수를 증가시키지 않으면서도 구현된다.
- 합성 다중모달 벤치마크, 이진화 MNIST, LM1B 데이터셋에서 E-MoE는 분해된 기준선 대비 소수 단계 생성 성능을 개선한다.