huggingface/transformers
Transformers 5.20.2 패치: 멀티모달 모델 입력 타입 버그 수정
원제 huggingface/transformers v5.20.2
v5.20.2
Key Point
멀티모달 모델과 대규모 분산학습 환경에서 발생하는 핵심 버그들이 수정되어 Transformers 라이브러리를 사용하는 개발자라면 즉시 업그레이드를 고려해야 한다.
핵심 요약
- Transformers 5.20.2 패치 버전이 릴리스됐다.
- prepare_inputs_for_generation 함수에서 입력값이 원래 타입을 잃어 멀티모달 모델에 문제를 일으키던 버그를 수정했다.
- 또한 입력 딕셔너리 캐스팅 문제를 해결했으며, bfloat16과 전문가 병렬처리(expert parallelism)에서 ep_size < fsdp_size 조건일 때 제로 그래디언트 문제를 수정했다.
- VLM(Vision Language Model)들이 텍스트 전용 입력 모달리티를 선언하도록 개선했고, eager_mask에서 불필요한 호스트-디바이스 복사를 제거했다.
릴리스 노트 보기 ↗github.com