쿠오토-쿠차(K2) 공개 대형 언어모델 플릿 출범
원제 K2-Horizon: A Frontier Fleet of Open Source Language Models
추천 84댓글 2
Key Point
대형 언어모델의 완전한 오픈소스화 추세 속에서 개발 전 과정과 파이프라인을 투명하게 공개하는 사례가 드물고, 합성 데이터 기반 대규모 사전학습과 MoE 최적화 기법이 실제 모델 성능에 미치는 영향을 보여준다.
핵심 요약
- Hugging Face가 K2-Horizon 프로젝트로 0.9B부터 375B 규모의 MoE 모델 6개를 완전 공개했다.
- 일반적 추론과 에이전트 작업, 수학·과학·소프트웨어 엔지니어링을 목표로 설계했으며 같은 규모의 기존 오픈소스 모델들과 경쟁 수준이다.
- Mixture-of-Value Attention(MoVA)으로 주의 집중 메커니즘에 MoE를 적용하고, softplus 주의 집중 게이트를 도입해 추론 능력을 강화했다.
- 36B-A4B 모델은 같은 데이터로 학습한 32B 조밀 모델에 근접한 성능을 1/7의 활성 매개변수로 달성했다.
- Uno라는 무손실 확산 어댑터로 별도 초안 모델 없이 디코딩 속도를 최대 2.2배 가속했다.
- LLM360 정의에 따라 전체 개발 이력, 중간 체크포인트, 사전학습 데이터, 학습 로그, 모든 코드와 xLLM 프레임워크·RL360 강화학습 스택을 공개했다.
- 약 10조 개의 합성 사전학습 토큰을 생성하는 파이프라인을 완전히 문서화해 공개했으며, 합성 데이터가 대규모 사전학습의 핵심 요소임을 입증했다.
- 4개 모델이 동일한 22조 토큰 사전학습 말뭉치와 레시피를 공유해 일관된 확장 거동을 보이고 규모·희소성 연구를 가능하게 했다.