experientiallabs/experiential
자신의 모델을 소유하면서 비용을 절감하는 오픈소스 LLM 게이트웨이
원제 experientiallabs/experiential
스타 6,833당일 +481Python
Key Point
프로덕션 트래픽 데이터로 자신이 소유한 모델을 최적화하면서도 OpenAI 호환 인터페이스로 기존 도구와 호환되어, LLM 비용 관리와 성능 개선을 동시에 달성할 수 있다.
핵심 요약
- Experiential은 OpenAI 호환 API 하나로 자체 호스팅, BYOK, 1000개 이상의 마켓플레이스 모델을 통합 관리하는 오픈소스 게이트웨이다.
- 사용자와 에이전트별로 어떤 모델을 사용할 수 있는지, 각 용도별 지출 한도를 제어할 수 있다.
- 프로덕션 트래픽으로부터 OpenTelemetry 추적을 수집하고 이를 통해 커스텀 라우터를 학습시켜 품질, 속도, 비용을 최적화한다.
- 로컬 게이트웨이와 호스팅 플랫폼(platform.experientiallabs.ai)을 선택할 수 있으며, 두 환경 모두 동일한 API를 제공한다.
- OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks, OpenRouter 등 주요 LLM 제공자의 API 키를 연결할 수 있다.
저장소 보기 ↗github.com