토큰 난이도에 맞춰 계산 할당하는 확산형 언어모델 ALoDLM
원제 ALoDLM: Adaptively Looped Diffusion Language Models
추천 60댓글 2
Key Point
기존 확산형 언어모델의 품질 격차 원인을 토큰 난이도 측면에서 처음으로 진단하고, 적응형 계산 할당으로 해결한 새로운 접근법이 표준 모델들을 능가했기 때문이다.
핵심 요약
- 확산형 언어모델(DLM)은 여러 토큰을 병렬로 예측해 빠른 생성을 가능하게 하지만, 같은 크기의 자동회귀(AR) 모델 대비 품질 격차가 실제 적용을 제한하고 있다.
- 논문은 이 격차의 원인을 계산-난이도 불일치로 분석했다. 부분적으로 관찰된 수열 내에서 일부 미지의 토큰은 쉽게 예측되지만 다른 토큰은 훨씬 더 많은 계산이 필요하다.
- 기존 DLM은 각 노이즈 제거 단계에서 모든 미지 위치에 동일한 계산 깊이를 적용한다.
- ALoDLM은 균일한 계산을 토큰 적응형 잠재 반복으로 대체한다. 각 노이즈 제거 단계에서 잠재 표현을 반복적으로 정제하고 토큰 난이도에 따라 계산을 할당한다.
- 예측 준비가 된 토큰은 이산 문맥으로 피드백되고, 미해결 토큰은 추가 반복 통과를 통해 잠재 상태를 유지하며 정제된다.
- 토큰 예측과 계산 할당을 함께 학습하기 위해 토큰별 계산 일정을 잠재 변수로 공식화하고 조건부 음의 증거 하한(NELBO)을 도출했다.
- ALoDLM은 1.7B 및 8B 규모에서 학습되었다.
- 11개 벤치마크에서 ALoDLM은 모든 평가 DLM과 두 규모 모두에서 대응하는 AR 기준선을 평균 벤치마크 점수에서 초과한다.
- ALoDLM은 빠른 병렬 디코딩을 유지하며 최적화된 추론 엔진 하에서 평가된 자동회귀 및 확산 모델 중에서 강한 품질-효율성 트레이드오프를 제공한다.