순환 언어 모델의 구조 설계: Huginn이 Ouro를 앞서다
원제 Towards Looped Models Done Right, Part I: Topology, Input Injection, Recurrent-State Design
추천 12댓글 3
Key Point
순환 아키텍처는 파라미터 효율성과 추론 효율을 동시에 개선할 수 있는 차세대 언어 모델 설계 방향인데, 이 논문은 어떤 구조적 선택이 실제로 성능을 결정하는지 체계적으로 규명했기 때문이다.
핵심 요약
- Transformer 블록을 논리적 깊이에 재사용하는 순환 언어 모델의 설계 요소를 분석한 논문이다.
- 같은 규모와 토큰 예산에서 학습한 모델들을 비교하여 재귀 배치, 입력 주입, 재귀 상태 구성의 영향을 개별적으로 측정했다.
- Prelude-Recurrent-Block-Coda 샌드위치 아키텍처가 문맥 추출과 추론 집약적 작업에서 일관되게 성능을 높이는 것을 확인했다.
- 입력 주입은 지식 검색과 문맥 활용을 크게 향상시키지만, 무작위 초기화와 분리된 H/L 재귀 상태는 혼합적 또는 부정적 결과를 보였다.
- 730M 파라미터 규모에서 Huginn 아키텍처는 10개 벤치마크 모두에서 Ouro를 능가했다.
- 8B 활성 파라미터 MoE 모델(32B 언롤링 시)도 Huginn이 Ouro를 거의 모든 벤치마크에서 앞섰고, 전문가 라우팅도 더 균형잡혔다.
- 같은 학습 및 추론 FLOPs 조건에서 Huginn은 112층 피드포워드 MoE 기준선보다 75% 적은 상주 파라미터를 사용하면서도 DROP과 GSM8K에서 더 나은 성능을 보였다.
- MATH500에서는 기준선과 동등하고 다른 벤치마크에서도 경쟁력을 유지했다.