MoE 모델의 중복 제거, 메타 전문가로 70-80% 파라미터만 써도 된다
원제 Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE
추천 30댓글 3
Key Point
모델 매개변수 규모를 키우면서 MoE 효율성을 30~40% 개선할 수 있는 구조적 혁신으로, 대규모 언어 모델 개발의 비용 효율성을 크게 높일 수 있다.
핵심 요약
- MoE(Mixture of Experts) 모델 확장 시 계층별 전문가들이 구조적으로는 독립적이지만 저장된 내용에 상당한 유사성과 중복을 보인다.
- 연구팀은 계층 간 공유 Meta Expert가 기존 Local Expert보다 더 효율적일 수 있다고 가설을 세우고 실증적 비교를 진행했다.
- Meta Expert를 도입한 모델은 파라미터 중복도가 낮고, 교차 엔트로피 손실이 작으며, 다운스트림 작업 정확도가 높았다.
- 활성화되는 전문가 수와 세분성을 고정한 상태에서 Meta Expert 모델은 기존 Vanilla MoE의 70~80% 전문가만 사용해 동일한 성능을 달성한다.
- Meta Expert는 기존 방식의 계층 간 중복을 제거하고 정보 저장 효율을 개선하며, 더 유연한 잔차 경로를 통해 정보 검색 효율도 향상시킨다.