GitHub ReleasesAI · 머신러닝오늘의 주요

ollama/ollama

Ollama v0.40.14 출시, Claude 모델 토큰 제한 개선

원제 ollama/ollama v0.40.14

v0.40.14
Key Point

Claude 모델 통합 개선과 OpenAI 호환성 버그 수정으로 로컬 LLM 모델 서빙의 안정성과 호환성이 강화된다.

핵심 요약

  • Ollama launch claude 명령이 Claude 모델의 출력 토큰 제한을 적용하여 클라우드 모델이 기본 128k 상한에 걸리지 않도록 개선했다.
  • /api/chat의 웹 검색 응답이 압축된 응답을 포함하여 올바르게 디코딩되도록 수정했다.
  • OpenAI 호환 엔드포인트가 더 이상 모델의 기본 샘플러 설정을 덮어쓰지 않으므로, 온도/top_p를 지정하지 않은 클라이언트는 1.0 대신 모델의 기본값을 받는다.
  • /v1/responses가 이전 어시스턴트 거부 내역을 포함한 읽을 수 있는 입력 콘텐츠를 보존하여 평탄화하지 않도록 개선했다.
  • Ollama 앱이 ChatGPT 연결 끊김 실패를 재시도할 수 있어 연결이 끊긴 상태로 남지 않도록 했다.
  • ollama launch codex가 ChatGPT 라우팅을 구성 전에 검증하고 라우팅을 사용할 수 없을 때 명확한 오류를 보고한다.
  • MLX에서 큰 어휘에 대한 top-k 샘플링 속도가 개선되었다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗