효율적인 흐름 모델로 LLM 병렬 생성 실현

핵심 요약

• 연속 흐름 언어 모델(continuous flow language model)은 이산 확산 모델에 없는 병렬 생성, 제어, 가속 기능을 제공한다.
• 라파(Lafa)는 80억 개 매개변수 규모의 흐름 언어 모델로, 30B 토큰 미만으로 학습되어 이전 확산 모델보다 효율적이다.
• 블록 단위 흐름 모델 설계로 접두사에는 인과 관계 어텐션, 각 블록 내에는 양방향 비동기 흐름을 적용한다.
• 사전 학습된 자동회귀 모델 적응, 접두사 캐싱, 블록 병렬 디코딩으로 빠른 추론이 가능하다.
• 명령어 따르기, 추론, 코딩 작업에서 라파의 흐름이 자동회귀 모델과 동등하거나 우수한 성능을 보인다.
• 학습된 흐름을 한 걸음, 몇 걸음 생성용 흐름 지도로 증류할 수 있다.
• 흐름 학습이 다중 토큰 예측 효과를 통해 사전 학습된 자동회귀 능력을 유지하거나 향상시킨다.
• 자기 추측형 디코딩 기법으로 흐름 기반 초안을 단일 모델 내에서 자동회귀적으로 검증한다.
• 이 방식으로 자동회귀 모델과 같은 품질 수준에서 2.54배 높은 처리량을 달성한다.
• 다중 토큰 예측 및 이산 확산 방법을 능가하며, 연속 흐름이 언어 모델링의 확장 가능한 기초가 될 수 있음을 보여준다.