Transformers 5.19.0, 멀티모달 임베딩과 분산학습 기능 강화

핵심 요약

• Gemma 2의 멀티모달 임베딩 모델 EmbeddingGemma2를 새로 추가했으며, 텍스트·이미지·오디오·비디오를 768차원 벡터 공간에 인코딩하고 512/256/128차원으로 축소 가능하다.
• MoE(Mixture of Experts) 모델이 output_router_logits=True일 때 라우터 로짓을 반환하도록 변경되었으며, 기존 코드는 새 출력 클래스에서 로짓을 읽어야 한다.
• OWLv2 이미지 쿼리 선택 방식이 객체 신뢰도 점수 기준으로 변경되어 기존 기능과 결과가 달라질 수 있다.
• SDPA와 Flash Attention의 페이징 접두사가 deprecated되었고, 일반 어텐션 구현이 연속 배칭을 직접 지원하도록 변경되었다.
• Expert Parallelism에 토큰 디스패치 구현이 추가되었으며 Qwen3 MoE의 기본값이 되어 EP 크기가 TP 크기와 같을 필요가 없어졌다.
• 양자화 캐시 처리가 수정되었고 generate 함수가 사용자 cache_config를 변경하지 않으며, 레이어별 캐시 설정으로 슬라이딩 윈도우와 어텐션 헤드 설정을 개별화했다.
• Python 3.11로 CI 업데이트, WatermarkDetector 반복 카운팅 수정, Deepseek V4의 colwise_gather_output 제거 등 다양한 버그 수정과 개선이 포함되었다.