자기 재귀로 멀티토큰 예측 효율화한 ECHO 논문
원제 ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
추천 11댓글 2
Key Point
자동회귀 언어 모델의 학습과 추론 효율성을 동시에 높이는 핵심 알고리즘 개선으로, 기존 멀티토큰 예측의 구조적 문제를 근본적으로 해결한다.
핵심 요약
- 기존 멀티토큰 예측(MTP) 방식은 보조 모듈을 백본에 추가하고 각 스텝마다 별도 계산이 필요해 비효율적이다.
- ECHO는 백본의 최종 레이어 자체가 모든 예측 스텝을 담당하므로 감독 신호가 다음 토큰을 생성하는 매개변수에 직접 전달된다.
- 깊은 스텝의 학습 비용을 낮추기 위해 동적 깊이 샘플링(DDS)을 도입해 깊이에 따라 확률을 감쇠시킨다.
- 미래 예측이 자동회귀 목표의 일부가 되면서 기존 보조 모듈 방식 대비 절반의 학습 비용으로 추론과 코드 능력을 향상시킨다.
- 추론 시 사전학습된 모델 자체가 드래프터 역할을 해 학습 깊이를 넘어서도 드래프트를 생성하며, 높은 엔트로피 생성 환경에서 후처리 드래프터보다 정렬도를 유지한다.
- 이 장점은 토큰 예산을 2배로 늘렸을 때, 반복 사전학습에서, 그리고 지도학습 미세조정 후에도 지속된다.