독일의 주권형 AI, 78억 파라미터 콜리브리 공개
원제 Show HN: Germany's new sovereign AI model Kolibri
160 포인트댓글 91
Key Point
EU AI 규정 준수, 데이터 독립성, 독일어 추론을 통합한 오픈웨이트 모델로 유럽 규제권 내 AI 자립이 기술적으로 가능함을 보여주며, 금융·공공·항공우주 등 데이터 민감 산업에 기존 대규모 모델 의존도를 낮힐 선택지를 제공한다.
핵심 요약
- Aleph Alpha가 독일·영국 대상의 혼합 전문가(MoE) 모델 '콜리브리'를 2026년 10월 3일 Apache 2.0 라이선스로 공개했다.
- 78.1억 개 파라미터 중 토큰당 3.46억 개(4.4%)만 활성화되며, 262,144 토큰 기본 문맥에서 최대 104만 8576 토큰까지 검증됐다.
- 독일 및 핀란드 인프라에서 768개 NVIDIA B200 GPU로 24조 토큰을 학습했으며, 독일 법률에 따라 구축돼 조직이 자체 서버에서 완전히 제어 가능하다.
- 384명의 전문가 레이어와 라우터가 각 토큰을 6개 전문가로만 라우팅하는 MoE 구조로 3.5억 파라미터급 계산량을 유지하면서 메모리는 78GB 필요하다.
- UniBPE 토크나이저로 독일어 텍스트에 대해 GPT-5 토크나이저 대비 11.2% 적은 토큰을 사용하며, 독일 기본법 같은 법률 텍스트에선 15% 더 효율적이다.
- 40개 레이어는 512 토큰 슬라이딩 윈도우 어텐션을 사용하고 5번째마다 전체 어텐션을 하므로 100만 토큰 문맥이 가능하다.
- 독일 프롬프트에서 독일어로 추론하도록 학습돼 AIME 2025 독일어에서 87.5점을 기록했으며, Merlin-Arthur 프로토콜로 몰라하는 답변을 할 때 설명할 수 없는 답변을 44% 거부했다.
- reasoning_effort를 none, low, medium, high 중 선택해 빠른 조회부터 복잡한 추론까지 동일 서버에서 처리할 수 있다.
- 영어 일반 점수 75.5, 독일어 70.8으로 동급 오픈 혼합전문가 모델을 앞섰으며, 수학은 AIME에서 영어 96.9점으로 모든 혼합전문가 모델을 능가했다.
- 닫힌 책 시험에서 51.0점으로 12개 모델 중 최하위이며, 다중 턴 도구 호출(39.8)과 코딩 에이전트(Terminal-Bench 27.7)가 약하다.
- vLLM 플러그인(버전 0.29)에서만 실행되고 OpenAI 호환 서버를 제공하지만, 출시일 기준 호스팅 제공자가 없다.
- 독일어와 영어만 지원하는 의도적 설계이며, Qwen3.8 27B 같은 밀집 모델이 더 높은 성능을 내지만 토큰당 8배 많은 파라미터를 사용한다.