허깅페이스 Transformers v5.22.0, 미스트랄 라지 4 모델 지원

핵심 요약

• 미스트랄이 공개한 라지 4(르 숑크)는 1조 파라미터 규모의 네이티브 멀티모달 혼합 전문가 모델로, 토큰당 49억 개의 활성 파라미터(임베딩과 출력층 포함 52억 개)를 가지고 있다.
• 유럽 미스트랄 데이터센터의 3800개 엔비디아 그레이스 블랙웰 GPU로 처음부터 학습했으며, 명령어 따르기·추론·코딩·에이전트 작업을 단일 가중치로 통합한다.
• 160개 이상의 언어에 네이티브로 유창하며, EU 공식 언어 전체를 지원한다.
• 128개 라우팅 전문가(토큰당 4개 활성, 공유 전문가 1개)의 세분화된 혼합 전문가 구조와 100만 토큰 컨텍스트 윈도우를 지원한다.
• 텍스트와 이미지 입력을 받으며 피스트랄 스타일 비전 인코더로 가변 이미지 크기와 종횡비를 처리한다.
• 저·중·고 세 가지 추론 난이도를 지원해 빠른 채팅부터 복잡한 에이전트 작업까지 같은 모델으로 처리할 수 있다.
• 네이티브 함수 호출, JSON 출력, 엄격한 JSON 스키마 강제를 지원하는 에이전트 기능과 오픈 가중치 모델 중 최고 수준의 사이버보안 성능을 제공한다.
• 미스트랄 에코시스템 오픈 가중치 라이선스(MIT 수정 버전)로 상용·비상용 사용을 모두 허용하되, 모델 서비스 운영 시 별도의 상용 라이선스가 필요하다.
• FP8 양자화 모델이 이제 LoRA 같은 어댑터 학습에 사용 가능해졌으며, 역전파를 추가해 MoE 레이어 역전파 시 피크 메모리를 28.9GB에서 2.8GB로 줄였다(8k 토큰 기준).
• Transformers 라이브러리에 미스트랄 라지 4 모델 지원, 프로세서 경고 제거, FP8 양자화 어댑터 학습 지원 등 여러 버그 수정과 개선이 포함되었다.