100개 이상 LLM을 하나로, LiteLLM AI 게이트웨이

핵심 요약

• OpenAI, Anthropic, Bedrock, Azure, VertexAI, Nvidia NIM 등 100개 이상의 LLM API를 단일 OpenAI 형식 인터페이스로 호출 가능한 오픈소스 AI 게이트웨이 LiteLLM을 GitHub Trending에서 공개했다.
• Python SDK로 직접 통합하거나 프록시 서버로 중앙화된 LLM 게이트웨이로 배포할 수 있으며, Rust 코어 기반으로 1000 RPS에서 P95 레이턴시 8ms를 달성한다.
• 가상 키, 비용 추적, 가드레일, 로드 밸런싱, 로깅, 관리 대시보드를 기본으로 제공하고 Netflix 등 대규모 조직에서 이미 채택하고 있다.
• LLM 호출 시 서로 다른 SDK, 인증 방식, 요청 형식, 에러 타입을 일일이 처리할 필요 없이 OpenAI 호환 형식으로 통일되므로 공급자 변경 시 코드 재작성을 피할 수 있다.
• /chat/completions, /messages, /embeddings, /images, /audio, /batches, /rerank, /a2a 등 다양한 엔드포인트를 지원한다.
• Python SDK 외에 선택적 extras, CLI, 대시보드가 없는 경량 litellm-core 배포판도 제공하며, Rust 툴체인이 필요한 빌드 과정을 별도 설명했다.
• 프록시 서버는 가상 키 설정과 첫 요청을 통해 E2E 튜토리얼로 시작할 수 있고, 100개 이상의 공급자를 지원하는 상세한 문서를 제공한다.
• LangGraph, Vertex AI Agent Engine, Azure AI Foundry, Bedrock AgentCore 등 A2A(Agent-to-Agent) 프로토콜 기반 에이전트를 Python SDK와 게이트웨이 양쪽에서 호출 가능하다.
• MCP(Model Context Protocol) 서버를 LiteLLM에 추가하면 /chat/completions로 MCP 도구를 호출할 수 있으며, Cursor IDE와 통합하려면 OAuth 클라이언트 ID/시크릿을 사전 설정해야 한다.
• Claude Code, Codex, OpenCode, pi, Deep Agents를 임의 모델에서 실행 가능하도록 에이전트 하네스를 제공하며, LITELLM_PROXY_API_BASE와 API_KEY 환경변수로 모든 모델 호출이 게이트웨이를 거친다.
• AWS(ECS Fargate + Aurora + ElastiCache)와 GCP(Cloud Run + Cloud SQL + Memorystore) 환경에 프로덕션 수준 스택을 Terraform으로 자동 배포할 수 있으며, 두 모듈 모두 공개 Terraform Registry에 게재되어 있다.
• AWS 배포 시 CloudShell에서 한 명령으로 인프라 구성을 시작할 수 있고, GCP는 Cloud Shell에서 DeployStack 튜토리얼을 통해 Artifact Registry 설정부터 terraform apply까지 자동 진행된다.
• 관리형 Postgres(쓰기/읽기), Redis, 버전 관리 객체 저장소, 자동 생성 LITELLM_MASTER_KEY, prisma 마이그레이션 작업을 모두 포함하며 proxy_config 설정을 일원화했다.