트랜스포머 5.20.0: 메타 뮤즈 스파크 오픈 등 6개 신규 모델 지원

핵심 요약

• 메타의 멀티모달 혼합 전문가 모델 뮤즈 스파크 오픈(Muse Spark Open)을 추가했다. 총 816B 파라미터(토큰당 활성 42B)이며 최대 1,048,576 토큰의 맥락 창을 지원하고 다중 파일 편집·디버깅·도구 사용 등 에이전틱 코딩 작업을 위해 학습됐다.
• InclusionAI의 Ling 3.0 Flash는 5개 KDA 레이어와 1개 MLA 레이어를 결합한 혼합 전문가 모델로 BailingHybridForCausalLM으로 네이티브 지원되어 trust_remote_code=True 없이 로드된다.
• 알렉스 알파의 Kolibri 1은 독일어·영어 중심 추론 모델로, 50개 레이어가 384명의 전문가 중 6명에게 각 토큰을 시그모이드 라우팅으로 라우팅하고 슬라이딩 윈도우와 전체 어텐션 레이어를 번갈아 사용한다.
• OpenBMB의 MiniCPM-V 4.7은 SigLIP 비전 인코더와 Qwen3.5 언어 모델 백본을 결합했으며, 신규 기능으로 이미지를 2D 캔버스에 배치하고 각 토큰에 시간·높이·너비 위치를 할당하는 캔버스 M-RoPE를 도입했다.
• 바이두의 UnlimitedOcr는 3B 파라미터 OCR 모델로 참조 슬라이딩 윈도우 어텐션(R-SWA)을 사용해 KV 캐시를 고정하며 한 번의 포워드 패스로 수십 페이지를 전사할 수 있다. 640×640 타일 모드와 1024×1024 단일 뷰 모드, 바운딩 박스 영역 탐지를 지원한다.
• UltraBERT는 마스킹·프루닝·증류 조합으로 학습한 양방향 텍스트 인코더 계열로 최대 32,768 토큰 수열을 지원하며, RoPE·RMSNorm·SwiGLU·번갈아 사용하는 국소/전역 어텐션을 사용하고 150M과 380M 체크포인트를 제공한다.
• MOSS-Transcribe-Diarize 0.9B는 장형 다중 발화자 전사·화자 분류·타임스탬프를 한 번의 패스로 생성하는 오디오 모델로 Whisper 인코더·4배 프레임 병합·멀티모달 프로젝터·Qwen3 언어 모델을 결합하고 50개 이상 언어를 지원한다.
• 익스포터가 Dynamo·ONNX·OpenVINO·ExecuTorch에서 양자화를 직접 지원하기 시작했으며, PT2E·ONNX Runtime·NNCF 양자화를 통합해 INT8/INT4 정적·동적 양자화와 가중치 전용 압축을 제공한다.
• 분산 학습·추론 개선: FSDP × TP 모델과 최적화기 체크포인트를 다양한 병렬 설정 간에 저장·로드할 수 있고, 전문가 병렬 디스패치·텐서 병렬 플랜·정적 캐시 생성과 캐싱 할당자 바이트 계산이 수정됐다.
• 생성 개선: 정적 캐시 생성의 호스트 측 입력·텐서 병렬화 버그를 수정했고, TPU에서 Whisper 생성을 디바이스 동기화와 재컴파일을 줄여 가속했으며, Whisper 배치 타임스탬프 디코딩을 텐서·NumPy 입력에 대해 수정했다.
• 비전 처리 업데이트: 이미지 디코딩이 torchcodec으로 이전됐고, Pixtral 플래시 어텐션의 축 RoPE 리팩터 후 거짓 이미지 경계 탐지로 인한 CUDA 메모리 접근 오류와 잘못된 출력을 수정했다.
• 커널 지원: flash_attention_2가 ROCm에서 flash-attn 미설치 시 AITER 커널로 폴백하고, T5 스타일 모델이 연속 SDPA 위치 편향 마스크를 사용해 융합 커널을 다시 사용하며, Hub RoPE 커널은 CUDA 추론으로 제한됐다.
• 주요 breaking change로 deprecated 캐시 메서드 제거, 다른 모델의 우발적 임포트 제거, kernels 최소 버전 0.17.2 상향, SubConfigSpec 도입으로 부분 설정 초기화 통합, LUKE·mLUKE 토크나이저의 엔터티 특수 토큰 처리 변경이 있다.