루프형 MoE 모델, 비대칭 연산 배분으로 효율 19% 개선
원제 LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation
추천 64댓글 1
Key Point
파라미터 효율성을 중시하는 개발팀이 더 작은 모델로 더 나은 성능을 달성할 수 있는 구조적 개선 방안을 얻을 수 있기 때문입니다.
핵심 요약
- 루프형 Mixture-of-Experts(MoE) 모델은 파라미터를 재사용하면서 스파스 연산으로 성능을 높이는데, 같은 블록을 여러 번 거칠 때 각 방문마다 서로 다른 역할을 한다.
- 연구진이 공유 블록을 두 번 적용하는 모델에서 각 방문별로 별도의 잔차 계수를 학습한 결과, 첫 번째 방문에서 더 작은 스케일이 나타났다.
- 첫 번째 방문의 스케일을 줄이면 성능이 유지되거나 개선되지만, 두 번째 방문을 같은 정도로 줄이면 성능이 떨어진다.
- 이러한 비대칭성에 기반해 LatentLoop을 제안하는데, 첫 번째 방문의 시퀀스를 압축하고 두 번째는 전체 해상도를 유지한 후 절감된 연산을 숨겨진 크기 증대에 할당한다.
- 첫 번째 방문이 전체 시퀀스를 얼마나 강하게 업데이트하는지 학습하며, MoE 가중치는 공유하되 서로 다른 시퀀스 해상도에 대응하기 위해 어텐션 파라미터는 따로 사용한다.
- 1.3B~7B 파라미터 범위의 15개 구성으로 10^21 FLOPs를 초과하는 예산에서 실험한 결과, LatentLoop은 모든 설정에서 검증 NLL을 일관되게 낮춘다.
- NLL 1.988 수준에서 예측된 연산 절감은 기존 MoE 대비 19.0%, 루프형 기준선 대비 7.9%에 이른다.
- 0-shot과 5-shot 설정에서 9개 벤치마크의 평균 점수가 모든 크기에서 향상되어, 루프형 MoE 모델에 비대칭 연산 배분이 유망한 방향임을 시사한다.