ollama/ollama
Ollama v0.40.8, Flint 모델 지원 추가
원제 ollama/ollama v0.40.8
v0.40.8
Key Point
Flint 모델을 새로 지원함으로써 MLX 백엔드의 모델 호환성이 확대되고, 숫자 타입 정확성이 필요한 고급 애플리케이션의 프롬프트 처리 품질이 향상된다.
핵심 요약
- Ollama가 v0.40.8을 릴리스하며 MLX 기반 Flint 모델 지원을 추가했다.
- 소스 도구 JSON을 API 디코딩 값과 함께 보존하여 Flint가 프롬프트에서 숫자 타입과 스키마 순서를 유지할 수 있게 했다.
- 기존 API 마셜링은 변경되지 않았으며, Flint 외 다른 모델의 가져오기와 양자화 경로는 기존 방식을 그대로 유지한다.
- Safetensors 가져오기 중에 ModelOpt 전문가 뱅크를 조립하고, 변환 전 직접 Flint NVFP4 생성을 거부한다.
- Flint 모델에 선택적 학습된 싱크와 디바이스 인과관계 마스크를 추가한 공유 MLX 어텐션 메커니즘을 도입했다.
- 기존 호출자들은 싱크 없음과 호스트 마스크 경로를 유지하고, Flint만 새로운 동작을 선택할 수 있다.
릴리스 노트 보기 ↗github.com