Hugging Face Transformers v5.21 릴리스, 5개 신규 모델 추가

핵심 요약

• Transformers 라이브러리가 v5.21.0을 릴리스했으며, 문서 인식부터 음성 합성까지 5개 모델을 새로 지원한다.
• MiniCPM-OCR은 OpenBMB의 모델로 SigLIP 비전 인코더와 Qwen3.5 언어 모델을 결합해 스캔 페이지, 스크린샷, 영수증 등 텍스트 밀집 이미지를 읽는다.
• Flint는 Recursive의 혼합 전문가 모델로 슬라이딩 윈도우 주의(512개 토큰 범위)와 완전 주의를 결합하며, 각 희소 계층이 256개 전문가 중 6개를 라우팅한다.
• UltraVBert는 UltraBERT 텍스트 인코더와 SigLIP 비전 인코더를 결합한 시각 문서 이해 모델로, 페이지당 최대 27개 타일(기본값)을 처리할 수 있다.
• Gradium Phonon TTS와 Pocket TTS는 온디바이스 텍스트-음성 합성 모델이며, Pocket TTS는 Kyutai의 1억 파라미터 모델로 CPU에서 실시간보다 빠르게 작동하고 음성 복제를 지원한다.
• Breaking change로 tensor parallelism이 입력 임베딩을 기본 샤딩하도록 변경되었으며, 모든 MoE TP/EP 계획이 전문가를 샤딩하도록 강제된다.
• QuantizedCache에 fp8 백엔드가 추가되어 KV 상태를 torch.float8_e4m3fn으로 저장할 수 있다.
• 캐시 처리 개선으로 Flash Attention이 정적 캐시와 호환되고, BLOOM은 정적 캐시/컴파일된 생성에서 더 이상 충돌하지 않으며, 청크 프리필이 캐시 연속성을 지원한다.
• 비전 이미지 프로세서가 PNG 투명도를 흰색에 합성하도록 수정되고, SmolVLM, HunYuan-VL, Ernie4.5-VL-MoE의 여러 문제가 해결되었다.
• 생성 버그 수정으로 생성 시 딕셔너리 입력 타입 손실, HunYuan-VL과 Idefics2/3의 부정확한 이미지 할당 및 자리 표시자 처리 문제가 해결되었다.
• Nemotron용 tensor parallel 계획이 추가되고, 양자화에서 DeepSeek-V4.1의 FP4 전문가를 올바르게 처리하도록 FineGrainedFP8Config에 expert_dtype 옵션이 추가되었다.
• Python 최소 버전이 3.11로 업그레이드되었으며, MusicGen melody, CSM codebook embedding, Whisper dtype 등 여러 버그가 수정되었다.