세 가지 제약을 동시에 푼 전문가 혼합 모델 등장
원제 IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts
추천 92댓글 3
Key Point
MoE는 모델 용량을 확장하는 핵심 기술인데, IntBMoE가 참여도·계산·메모리 세 제약을 동시에 독립적으로 제어할 수 있게 되면서 대규모 추천 시스템의 실전 배포 가능성을 열었습니다.
핵심 요약
- Mixture-of-Experts(MoE)의 참여도, 계산량, 메모리 비용을 독립적으로 제어할 수 없는 문제를 IntBMoE가 해결했습니다.
- 블록 조건화된 MoE로 모든 전문가가 토큰 생성에 기여하며(완전 참여), 라우터가 일부 블록만 실행해 계산량을 낮추고, 학습된 코드북이 메모리를 제한합니다.
- 하이퍼네트워크가 각 층의 전문가들을 동적으로 합성하고, Dual-Path Residual Gating이 두 경로를 곱셈 게이팅으로 연결합니다.
- 이미지 분류, 언어 모델링, 순차 추천에서 기존 MoE 모델을 능가했으며, 중국 지도 앱 AMap의 추천 시스템에 적용되어 수억 명 사용자를 60ms 지연 제약으로 처리합니다.
- 온라인 A/B 테스트에서 상대 UVCTR 2.4% 개선을 달성했습니다.