계층적 생성으로 작은 모델도 큰 모델 따라잡다

핵심 요약

• 연속 의미 공간과 이산 텍스트 생성을 분리한 계층적 언어 모델 Cola2를 제안했다.
• 텍스트를 의미 단위로 동적 분할하고, 보조 손실 없는 음의 피드백으로 압축률을 조절하며, 복원과 생성 감시를 결합해 컴팩한 잠재 표현을 학습한다.
• 블록-인과 마스크 확산 디코더를 사용하고, 분류기-무료 지도로 의미 복원과 자율 생성 사이 균형을 조절한다.
• 토큰 예측 그래디언트가 인코더를 갱신하고, Flow Matching 사전 학습은 중단 그래디언트로 표현 학습과 분리된다.
• 추론 시 생성 텍스트를 고정된 구간 배치로 재인코딩해 잠재 이력과 실제 텍스트 맥락의 일관성을 유지한다.
• 210억 개 토큰으로 학습하고 5개 다운스트림 작업에서 핵심 설계를 검증했으며, 3460억 개 토큰을 사용한 미완성 체크포인트가 8개 작업 평균 60.10을 달성했다.
• Llama-3-8B는 430배 이상 큰 사전학습 예산을 썼음에도 Cola2가 HellaSwag과 StoryCloze에서 이를 능가했다.
• 결과는 연속 잠재 계층적 언어 생성의 잠재력을 입증한다.