마스크형 확산 모델, 언제 전략 바꿀까
원제 Unmask the State: When Does State Adaptation Matter for Masked Diffusion Language Models
추천 42댓글 2
Key Point
마스크형 확산 모델의 생성 과정에서 어떤 상황에서 추론 전략을 동적으로 바꿔야 효율적인지를 실증적으로 규명해, 모델 최적화의 실질적 가이드라인을 제시한다.
핵심 요약
- 마스크형 확산 언어모델(MDM)은 자유로운 생성 순서를 허용해 언마스킹 전략이 추론 시점의 선택이 된다.
- 스코어·카디널리티·영역·커미트먼트·플래닝 5개 축으로 MDM 추론을 분류하고, 고정된 선택보다 더 나은 행동의 한 단계 효용 차이를 '적응 기회'로 정의했다.
- 3개 MDM과 10개 테스크를 검증한 결과, 적응 기회는 매우 이질적이며 일부 상황에서는 집중된 예측 가능한 일단계 이득을 보였다.
- 검증 프롬프트에서 보정한 가벼운 탐지기가 높은 기회 상태를 식별해, LLaDA-8B 제약 JSON 채우기에서 상위 10% 상태만 적응해 전체 오라클 기회의 56.9%를 포착했다.
- 전체 추론 단계를 균일하게 적응하기보다는 높은 기회 상태를 선별해 적응하는 것이 더 효과적이라는 결과를 도출했다.