Hugging Face 논문AI · 머신러닝

루프 언어모델에 "지연 진입" 기법으로 5배 이상 속도 향상

원제 Late Entry in Looped Language Models

추천 10댓글 2Ziqi Jin, Jiaxi Li, Weiwen Xu 외
Key Point

루프 언어모델의 추론 깊이를 활용하면서 디코딩 지연을 대폭 줄이는 새로운 접근법으로, 소규모 모델에서도 큰 성능 향상을 얻을 수 있음을 실증한다.

핵심 요약

  • 루프 언어모델은 한정된 파라미터로 토큰당 같은 계층을 T번 반복하는 깊은 추론을 수행하지만, 기존 조기 종료 디코딩은 초기 단계 후 중단되면서 과거 토큰의 캐시된 키-값 상태가 얕은 깊이에만 머문다.
  • 연구진은 반대 전략인 '지연 진입'을 제안했으며, 여기서 새 토큰이 초기 단계를 건너뛰고 깊은 컨텍스트 캐시의 마지막 K < T 패스에만 직접 진입한다.
  • 경량 미세조정으로 진입 경계의 은닉 상태 정규화 불일치를 해결하면, 깊은 캐시가 건너뜀 토큰의 로컬 단계를 대체하여 지연 진입이 조기 종료를 능가한다.
  • 벽시계 속도 향상을 위해 후보 블록은 임계 경로의 최종 K 패스만 검증하고, 이전 커밋된 토큰은 추가 직렬 호출 없이 1→T 패스를 완료한다.
  • Wake 검증은 로짓 마진 허용 오차 τ를 통해 정확한 T패스 디코딩(τ = 0), 마진 게이트 검증(τ > 0), 비롤백 손실 지연 진입(τ = ∞)을 단일 CUDA 그래프로 통합한다.
  • Ouro-2.6B(T = 4)에서 K = 2 Wake는 τ = 0일 때 5.2배, τ = ∞일 때 6.8배 속도 향상을 달성했으며, GSM8K에서 K = 4 블록 디코딩 대비 각각 26%, 16.9 포인트 성능 개선을 보였다.
  • Huginn-3.5B에서 테스트타임 반복을 T ∈ {8, 16, 32, 64}로 확장하면 K = T/4 롤백이 깊이에 따라 21.5배 감소하여 τ = 0에서 6.1배(T = 32) 및 8.4배(T = 64) 속도 향상을 이루고, τ = ∞에서 10.6배~12.5배 가속을 달성한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗