바이두, 효율성 중심의 초거대 언어모델 ERNIE 5.5 Flash 공개

핵심 요약

• 바이두가 기반 모델 ERNIE-5.5-Flash-Base를 공개했다. 총 280B 파라미터 중 토큰당 14B만 활성화되는 희소 MoE 모델로, 33.5T 토큰에서 사전학습되었고 최대 128K 컨텍스트로 학습, 추론 시 1M 토큰을 지원한다.
• 사전학습 종료 직후의 가중치를 제공하므로, 도메인 적응·명령어 튜닝·강화학습 연구의 출발점으로 사용 가능하다.
• 모델은 효율성을 최우선으로 설계했다. 43개 레이어 중 37개는 128배 압축된 시퀀스를 처리하는 HCA(Heavily Compressed Attention)를 사용하고, 6개만 전체 컨텍스트에 접근하는 MLA(Multi-head Latent Attention)를 사용한다.
• 희소 주의 외에도 저랭크 게이팅 주의, 멀티라우터 기반 MoE, 다중 잔차 스트림(mHC), 다단계 온도 제어(MultiMax), ECHO 다중토큰 예측 등 아키텍처 전반에 걸쳐 효율성을 추구했다.
• 새로운 BPE 토크나이저는 어휘 약 200K를 포함하며, 숫자를 오른쪽에서 왼쪽(R2L)으로 3자리 단위로 토큰화해 산술 처리를 개선했다.
• 사전학습은 Muon 옵티마이저와 FP8 혼합정밀도를 사용했다. 분산 Muon 구현은 GPU 간 통신 경로를 최적화하고 메모리를 균형있게 배분해 수천 개 GPU에서 확장성을 확보했다.
• FlashMask-4 커널은 qk_head_dim 576, v_head_dim 512까지 지원하며, SM100 GPU에서 FlashAttention-4 대비 정방향 175%, 역방향 74% 더 빠르다.
• 평가 결과 DeepSeek-V4-Flash-Base, Hy3-preview-Base, MiMo-V2.5-Base 등 유사 규모 모델들과 비교해 MMLU 93.3, MMLU-Pro 78.4, 코드 벤치마크 HumanEval+ 82.3 등으로 경쟁력을 보였다.
• 긴 컨텍스트 벤치마크에서도 RepoQA 91.7, LongBench-v2 48.7 등 상위권 성능을 유지했으며, 6개 MLA-DSA 레이어만으로도 장문맥 처리를 지원한다.
• 모델은 Hugging Face에서 FP8, BF16 형식으로 공개되며, SGLang과 vLLM을 통해 배포할 수 있다. ERNIE 5.5 Flash 라이선스 v1.0 하에 제공된다.