Hugging Face 논문AI · 머신러닝오늘의 주요

쿠오토-쿠차(K2) 공개 대형 언어모델 플릿 출범

원제 K2-Horizon: A Frontier Fleet of Open Source Language Models

추천 84댓글 2K2 Team, Zhengzhong Liu, Haonan Li 외
Key Point

대형 언어모델의 완전한 오픈소스화 추세 속에서 개발 전 과정과 파이프라인을 투명하게 공개하는 사례가 드물고, 합성 데이터 기반 대규모 사전학습과 MoE 최적화 기법이 실제 모델 성능에 미치는 영향을 보여준다.

핵심 요약

  • Hugging Face가 K2-Horizon 프로젝트로 0.9B부터 375B 규모의 MoE 모델 6개를 완전 공개했다.
  • 일반적 추론과 에이전트 작업, 수학·과학·소프트웨어 엔지니어링을 목표로 설계했으며 같은 규모의 기존 오픈소스 모델들과 경쟁 수준이다.
  • Mixture-of-Value Attention(MoVA)으로 주의 집중 메커니즘에 MoE를 적용하고, softplus 주의 집중 게이트를 도입해 추론 능력을 강화했다.
  • 36B-A4B 모델은 같은 데이터로 학습한 32B 조밀 모델에 근접한 성능을 1/7의 활성 매개변수로 달성했다.
  • Uno라는 무손실 확산 어댑터로 별도 초안 모델 없이 디코딩 속도를 최대 2.2배 가속했다.
  • LLM360 정의에 따라 전체 개발 이력, 중간 체크포인트, 사전학습 데이터, 학습 로그, 모든 코드와 xLLM 프레임워크·RL360 강화학습 스택을 공개했다.
  • 약 10조 개의 합성 사전학습 토큰을 생성하는 파이프라인을 완전히 문서화해 공개했으며, 합성 데이터가 대규모 사전학습의 핵심 요소임을 입증했다.
  • 4개 모델이 동일한 22조 토큰 사전학습 말뭉치와 레시피를 공유해 일관된 확장 거동을 보이고 규모·희소성 연구를 가능하게 했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗