완전 공개 멀티모달 모델 Apertus 1.5 출시

핵심 요약

• Apertus 1.5는 완전히 공개 데이터로 학습한 멀티모달 추론 모델로, 텍스트 기반 Apertus 1.0을 확장했다.
• 8B 모델에 4T개, 70B 모델에 2T개 토큰을 추가 학습해 이미지와 음성 이해 능력을 추가했으며, 컨텍스트 윈도우를 262,144 토큰으로 4배 확대했다.
• 토크나이저를 통해 멀티모달 입력을 처리하되 언어 모델 헤드는 텍스트만 출력하고 아키텍처는 유지했다.
• 지도학습 미세조정, 장문맥 미세조정, 검증 가능한 보상을 이용한 강화학습, 선호도 정렬을 적용했으며, 별도 모델 없이 채팅 템플릿의 플래그로 '사고 과정'을 활성화할 수 있다.
• 사고 과정 기능은 8B 모델의 수학 추론 성능을 최대 20포인트 향상시킨다.
• 거의 모든 벤치마크에서 이전 버전을 능가하며, 완전히 공개된 같은 급의 모델 중 8B는 지식·명령 따르기·문화 벤치마크에서 선두를 차지했다.
• 이미지와 음성 이해에서는 완전 공개 멀티모달 모델과 경쟁력 있으며, 문서 이해와 장문 및 저자원 언어 음성 인식에서 강점을 보이지만 전문 비전·음성 모델은 여전히 앞선다.
• 모든 학습 데이터는 공개 자료만 사용했으며, 크롤러 거부 요청을 소급 적용하고 제한적 라이선스 자료는 제외했다.
• 모델 가중치, 데이터 준비 및 학습 레시피, 평가 도구 모두 허용적 라이선스로 공개되며, Apertus 헌장이 정렬 단계와 함께 발표됐다.