마스크 기반 확산 모델의 학습 효율성을 높이는 Pivot-SD
원제 Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
추천 52댓글 2
Key Point
마스크 기반 확산 모델의 학습 비효율을 지목하고, 고영향 결정점만 선별 학습하는 새로운 자기증류 방식이 소규모 데이터로도 기존 방법을 능가하는 결과를 보여준다.
핵심 요약
- 마스크 확산 언어 모델(dLM)은 자동회귀 모델 대안으로서 복잡한 추론에 유망하지만, 노이징 제거 중 일부 토큰 결정이 나머지 마스크 위치의 불확실성을 급격히 줄이는 신용 배치 문제를 마주한다.
- 기존 dLM 학습 방식은 이러한 신호를 활용하지 않으며, 최종 텍스트나 전체 노이징 단계에 보상을 할당하는 방식으로 개별 핵심 토큰 결정을 선별하지 않는다.
- Pivot-SD는 오프라인 자기증류 프레임워크로서, 오직 응답 형성에 큰 영향을 미치는 핵심 결정점(pivot)만을 감독한다.
- 정보 이득 지표로 남은 마스크 위치의 불확실성 감소를 측정하여 pivot을 선별하며, 성공한 궤적의 pivot은 교차 엔트로피로, 실패한 궤적의 pivot은 표적 부가능성으로 학습한다.
- 200개 질문과 각 4개의 롤아웃만 사용하여 LLaDA-8B-Instruct를 전체 시퀀스 SFT 및 예산 균형의 확산 강화학습 기준선 대비 수학과 코드 벤치마크에서 개선시켰다.