반복 구조와 희소 전문가 모델의 스케일링 법칙 제시
Key Point
반복 구조와 희소 전문가 모델을 함께 스케일링하는 첫 통합 법칙으로, 제한된 연산량에서 효율성 극대화를 원하는 대규모 모델 개발의 새로운 설계 기준을 제공한다.
핵심 요약
- 로프드 트랜스포머(반복 구조)와 MoE(혼합 전문가)는 서로 다른 효율성 경로를 제공한다: 반복 구조는 파라미터 수 고정 상태에서 계산 깊이를 늘리고, MoE 희소성은 활성 연산 고정 상태에서 총 용량을 확장한다.
- 기존 스케일링 법칙은 반복 구조와 희소성을 따로 모델링했으나, 이 논문은 반복 구조와 희소성을 모델 크기·데이터와 함께 통합 모델링하는 'Loop Scaling Laws'를 제시했다.
- 핵심은 희소성-조건부 반복 매핑으로, 반복을 통한 유효 파라미터 이득을 특성화하고 희소성이 이 이득을 어떻게 높이는지를 나타낸다.