ollama/ollama
Ollama v0.40.14 출시, Claude 모델 토큰 제한 개선
원제 ollama/ollama v0.40.14
v0.40.14
Key Point
Claude 모델 통합 개선과 OpenAI 호환성 버그 수정으로 로컬 LLM 모델 서빙의 안정성과 호환성이 강화된다.
핵심 요약
- Ollama launch claude 명령이 Claude 모델의 출력 토큰 제한을 적용하여 클라우드 모델이 기본 128k 상한에 걸리지 않도록 개선했다.
- /api/chat의 웹 검색 응답이 압축된 응답을 포함하여 올바르게 디코딩되도록 수정했다.
- OpenAI 호환 엔드포인트가 더 이상 모델의 기본 샘플러 설정을 덮어쓰지 않으므로, 온도/top_p를 지정하지 않은 클라이언트는 1.0 대신 모델의 기본값을 받는다.
- /v1/responses가 이전 어시스턴트 거부 내역을 포함한 읽을 수 있는 입력 콘텐츠를 보존하여 평탄화하지 않도록 개선했다.
- Ollama 앱이 ChatGPT 연결 끊김 실패를 재시도할 수 있어 연결이 끊긴 상태로 남지 않도록 했다.
- ollama launch codex가 ChatGPT 라우팅을 구성 전에 검증하고 라우팅을 사용할 수 없을 때 명확한 오류를 보고한다.
- MLX에서 큰 어휘에 대한 top-k 샘플링 속도가 개선되었다.
릴리스 노트 보기 ↗github.com