마스크형 확산 모델, 언제 전략 바꿀까
Key Point
마스크형 확산 모델의 생성 과정에서 어떤 상황에서 추론 전략을 동적으로 바꿔야 효율적인지를 실증적으로 규명해, 모델 최적화의 실질적 가이드라인을 제시한다.
핵심 요약
- 마스크형 확산 언어모델(MDM)은 자유로운 생성 순서를 허용해 언마스킹 전략이 추론 시점의 선택이 된다.
- 스코어·카디널리티·영역·커미트먼트·플래닝 5개 축으로 MDM 추론을 분류하고, 고정된 선택보다 더 나은 행동의 한 단계 효용 차이를 '적응 기회'로 정의했다.
- 3개 MDM과 10개 테스크를 검증한 결과, 적응 기회는 매우 이질적이며 일부 상황에서는 집중된 예측 가능한 일단계 이득을 보였다.