확산 언어모델의 토큰 단위 특성 정렬로 생성 품질 개선
원제 Representation-Space MMD for Diffusion Language Models
추천 21댓글 1
Key Point
확산 기반 언어모델의 생성 품질을 토큰 단위로 정렬하는 효율적인 방법으로, 별도의 샘플링 완성이나 보조 모델 없이 대규모 모델의 추론 속도와 정확도를 동시에 개선할 수 있다는 점이 중요하다.
핵심 요약
- 확산 언어모델(DLM) 사후학습을 위해 생성된 분포와 참조 분포 간 최대평균편차(MMD)를 토큰 단위의 특성 공간에서 최소화하는 방법을 제안했다.
- 개별 토큰 위치의 맥락 특성을 유지하여 한 번의 특성 추출으로 여러 관찰 샘플을 얻으므로 효율적이다.
- 이산 모델은 정책 기울기를, 연속 모델은 생성된 잠재변수에 대한 직접 미분을 통해 최적화한다.
- 전체 샘플링 궤적이나 보조 모델 없이 특성에서 손실을 직접 계산해 빠른 사후학습이 가능하다.
- OpenWebText에서 동일한 엔트로피 수준에 더 낮은 생성 당혹도를 달성했고, GSM8K에서 더 나은 정확도-계산 트레이드오프를 보였다.
- 16B DMax-LLaDA2.0 모델에서 하이브리드 마스크-균일 확산을 사용할 때 수학·코드 벤치마크에서 비슷하거나 더 높은 정확도를 유지하면서 디코딩 병렬성을 증가시켰다.