LiteLLM의 핵심 기능만 추린 경량 라이브러리 litelm 공개
Key Point
기존 LiteLLM의 100k+ 줄 코드 크기에 부담을 느끼거나 가벼운 LLM 통합을 원하는 개발자에게 핵심만 추린 대안을 제시한다.
핵심 요약
- LiteLLM의 라우팅·메시지 번역 기능을 약 2,900줄과 2개 의존성(openai, httpx)으로 구현한 경량 라이브러리 litelm이 공개됐다.
- 프록시 서버, 캐싱, 비용 추적 등 100k+ 줄의 복잡한 기능을 제거하고 모델 라우팅, 메시지 변환, 스트리밍, 도구 사용, 임베딩만 제공한다.
- OpenAI 호환 엔드포인트로 19개 제공자(OpenAI, Anthropic, Groq, Mistral, xAI, Azure, Bedrock 등)를 지원하며 api_base로 로컬 vLLM·Ollama·LM Studio도 연결 가능하다.
- litellm 사용자는 import 문의 litellm을 litelm으로 바꾸면 되는 API 호환성을 제공한다.
- 262개 자체 테스트와 45개 제공자 라이브 테스트, DSPy 통합 테스트 10개가 통과했으며 현재 알파 상태다.