루프 언어모델에 "지연 진입" 기법으로 5배 이상 속도 향상
Key Point
루프 언어모델의 추론 깊이를 활용하면서 디코딩 지연을 대폭 줄이는 새로운 접근법으로, 소규모 모델에서도 큰 성능 향상을 얻을 수 있음을 실증한다.
핵심 요약
- 루프 언어모델은 한정된 파라미터로 토큰당 같은 계층을 T번 반복하는 깊은 추론을 수행하지만, 기존 조기 종료 디코딩은 초기 단계 후 중단되면서 과거 토큰의 캐시된 키-값 상태가 얕은 깊이에만 머문다.
- 연구진은 반대 전략인 '지연 진입'을 제안했으며, 여기서 새 토큰이 초기 단계를 건너뛰고 깊은 컨텍스트 캐시의 마지막 K < T 패스에만 직접 진입한다.
- 경량 미세조정으로 진입 경계의 은닉 상태 정규화 불일치를 해결하면, 깊은 캐시가 건너뜀 토큰의 로컬 단계를 대체하여 지연 진입이 조기 종료를 능가한다.