Transformers 5.18.0 출시, Nemotron·NemotronH Omni 등 신모델 추가

핵심 요약

• Nemotron 3 Diarization 오픈웨이트 모델이 추가되어 실시간 음성 화자 분리를 지원하며, 최대 8명의 화자를 처리할 수 있고 80ms부터 30.4s까지 구성 가능한 지연 시간 프로필을 제공한다.
• NemotronH Omni 멀티모달 추론 모델은 Mamba-Transformer 언어 모델에 RADIO 비전 인코더와 Parakeet 사운드 인코더를 결합하여 텍스트, 이미지, 비디오, 음성을 동시에 처리한다.
• HyperCLOVAX Vision V2는 NAVER가 개발한 멀티모달 모델로 Qwen2.5-VL 비전 인코더를 탑재하고 체인오브싱크 추론을 위한 thinking 토큰을 지원한다.
• GTE는 Alibaba의 gte-*-v1.5, gte-multilingual-*, gte-en-mlm-* 체크포인트와 Snowflake의 snowflake-arctic-embed-m-v2.0을 지원하는 BERT 스타일 양방향 인코더다.
• ROCm Flash Attention 3 라우팅, DETR 이미지 처리 가속, Indexer 레이어 타입 리매핑 등 여러 breaking change가 포함되었다.
• 허브 토크나이저 클래스 오류 수정, XPU 활성화 커널 등록, MoE 모델 eager 실행 정책 개선, StaticCache 호환성 확대, Qwen2.5-VL 임시 RoPE 수정 등 100건 이상의 버그 수정이 이루어졌다.
• Mamba-SSM 커널 XPU 등록, GGUF 토크나이저 지원 추가, MPS Flash 구현 기본값 동적 선택, FSDP2와 전문가 병렬화 통합 등 인프라 개선이 적용되었다.
• Trainer.end() 메서드 추가, 멀티모달 데이터 단일 인코딩, 이미지 프로세서 백엔드 동기화, 제너레이션 제약 조건 처리 개선 등 API와 생성 기능 강화가 포함되었다.