토큰 독립성 문제 해결한 계층형 연속 확산 언어모델
원제 Hierarchical Continuous Diffusion Language Models
추천 79댓글 2
Key Point
병렬 디코딩에서 토큰 간 의존성을 보존하면서도 전역 제약을 만족시키는 방식으로 확산 언어모델의 핵심 구조적 문제를 해결했기에, 생성 모델의 근본적인 설계 변화로 관심을 끈다.
핵심 요약
- 이산 확산 언어모델은 양방향 추론과 전역 제약 만족이 필요한 작업에서 자기회귀 생성의 대안이 되지만, 병렬 디코딩 시 각 토큰을 독립적으로 샘플링하면서 토큰 간 통계적 의존성을 끊는 구조적 병목을 공유한다.
- 연속 확산 언어모델은 공유 연속 상태를 노이징하여 이를 피하지만, 노이저가 그 상태만 보므로 최종 디코딩까지 유효한 토큰 구성과의 연결고리가 없다.
- HC-DLM(Hierarchical Continuous Diffusion Language Models)은 이산 토큰 생성과 연속 잠재 궤적을 단일의 원칙적인 노이징 제거 과정으로 결합하며, 훈련 목적은 토큰 우도에 대한 변분 경계에서 유도된다.
- 기존 방법이 연속 문맥을 자립적 이산 체인에 첨부하는 반대로, HC-DLM은 잠재를 유일한 지속적 생성 상태로 만들고, 매 단계마다 토큰을 이로부터 읽어내어 다음 잠재 업데이트의 스캐폴드로 되먹인다.
- 수도쿠(구조적 추론), 카운트다운(수학적 계획), LM1B(언어 모델링)에서 HC-DLM은 동일 모델 크기의 이산·연속 확산 기준선을 상회하며, 수도쿠와 카운트다운에서는 퍼즐 정확도, LM1B에서는 생성 복잡도를 개선했다.
- 프로젝트 페이지는 hc-dlm.github.io에서 확인할 수 있다.