쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 11일 (금)까지270건
2건 · "LLM 게이트웨이"조건 지우기 ×
001당일 +112다양한 AI 모델을 한 곳에서 통합 관리하는 게이트웨이New API는 OpenAI, Claude, Gemini 등 서로 다른 LLM들을 호환 가능한 포맷으로 변환해주는 통합 AI 모델 허브다.AI · 머신러닝 · QuantumNous/new-api · Go
다양한 AI 모델을 한 곳에서 통합 관리하는 게이트웨이
Key Point여러 AI 서비스의 API를 통합 관리하고 비용 추적이 필요한 개발팀이나 AI 기반 제품을 운영하는 기업이 자체 게이트웨이를 구축할 때 바로 활용 가능한 오픈소스 솔루션이다.
핵심 요약
- New API는 OpenAI, Claude, Gemini 등 서로 다른 LLM들을 호환 가능한 포맷으로 변환해주는 통합 AI 모델 허브다.
- 조직 수준의 토큰 관리, 모델별 제한, 사용자 권한 관리를 지원하며 요청별·사용량 기반 정산과 캐시 비용 계산 기능을 제공한다.
- Discord, LinuxDO, Telegram, OIDC 등 다양한 인증 방식을 지원하고 OpenAI Realtime API를 포함한 여러 API 포맷을 호환한다.
- Go 언어로 개발되었으며 Docker Compose로 쉽게 배포할 수 있고, 간편한 웹 UI와 시각화된 데이터 대시보드를 제공한다.
- 개인 사용자의 AI API 게이트웨이 구축부터 기업 수준의 모델 관리, 프라이빗 배포까지 다양한 시나리오를 지원한다.
AI · 머신러닝 · experientiallabs/experiential · Python
자신의 모델을 소유하면서 비용을 절감하는 오픈소스 LLM 게이트웨이
Key Point프로덕션 트래픽 데이터로 자신이 소유한 모델을 최적화하면서도 OpenAI 호환 인터페이스로 기존 도구와 호환되어, LLM 비용 관리와 성능 개선을 동시에 달성할 수 있다.
핵심 요약
- Experiential은 OpenAI 호환 API 하나로 자체 호스팅, BYOK, 1000개 이상의 마켓플레이스 모델을 통합 관리하는 오픈소스 게이트웨이다.
- 사용자와 에이전트별로 어떤 모델을 사용할 수 있는지, 각 용도별 지출 한도를 제어할 수 있다.
- 프로덕션 트래픽으로부터 OpenTelemetry 추적을 수집하고 이를 통해 커스텀 라우터를 학습시켜 품질, 속도, 비용을 최적화한다.
- 로컬 게이트웨이와 호스팅 플랫폼(platform.experientiallabs.ai)을 선택할 수 있으며, 두 환경 모두 동일한 API를 제공한다.
- OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks, OpenRouter 등 주요 LLM 제공자의 API 키를 연결할 수 있다.