주의력 레이어에 희소성 더하는 Nestor 모델 제안
원제 Nested Sparsity for Scalable Pretraining and Continual Learning
추천 14댓글 2
Key Point
조건부 계산의 새로운 메커니즘이 기존 MoE 모델의 학습 효율과 연속 학습 능력을 동시에 개선하는 구체적인 방법을 제시하고 있습니다.
핵심 요약
- 현재 대규모 언어 모델은 Mixture-of-experts(MoE) 트랜스포머를 사용하며, MoE 연산자에서만 조건부 계산으로 가중치의 일부만 활용한다.
- 이 논문은 주의력 연산자를 일반화한 대안적 조건부 계산 메커니즘을 제안하며, 이는 MoE 희소성과 계층적으로 결합되는 '중첩 희소성'을 만든다.
- Nestor라 명명한 이 모델은 동일한 계산량과 희소성에서 기존 MoE 트랜스포머보다 언어 모델 사전학습에서 더 나은 성능을 보인다.
- 지속적 사전학습에서도 Nestor는 더 긴 문맥에 효과적으로 적응하고, 새로운 도메인에 더 효율적으로 적응하면서 기존 도메인은 덜 잊어버린다.
- 이러한 이점들은 모델 규모, 데이터셋 규모, 문맥 길이가 증가해도 유지된다.
- 코드와 체크포인트는 GitHub에서 공개되어 있다.