쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
4건 · "LLM 게이트웨이"조건 지우기 ×
001 21:11 당일 +107 100개 이상 LLM을 하나로, LiteLLM AI 게이트웨이 OpenAI, Anthropic, Bedrock, Azure, VertexAI, Nvidia NIM 등 100개 이상의 LLM API를 단일 OpenAI 형식 인터페이스로 호출 가능한 오픈소스 AI 게이트웨이 LiteLLM을 GitHub Trending에서 공개했다. AI · 머신러닝 · BerriAI/litellm · Python
Key Point 다양한 LLM 공급자별로 다른 API를 통합 관리해야 하는 개발팀에게 표준화된 인터페이스와 엔터프라이즈급 기능(비용 추적, 로드밸런싱, 접근 제어)을 제공하므로 멀티 클라우드·멀티 모델 환경에서 운영 복잡도를 크게 낮출 수 있다.
핵심 요약
OpenAI, Anthropic, Bedrock, Azure, VertexAI, Nvidia NIM 등 100개 이상의 LLM API를 단일 OpenAI 형식 인터페이스로 호출 가능한 오픈소스 AI 게이트웨이 LiteLLM을 GitHub Trending에서 공개했다. Python SDK로 직접 통합하거나 프록시 서버로 중앙화된 LLM 게이트웨이로 배포할 수 있으며, Rust 코어 기반으로 1000 RPS에서 P95 레이턴시 8ms를 달성한다. 가상 키, 비용 추적, 가드레일, 로드 밸런싱, 로깅, 관리 대시보드를 기본으로 제공하고 Netflix 등 대규모 조직에서 이미 채택하고 있다. 전체 요약 13문장 읽기 → 002 21:11 당일 +165 Go 생태계 완벽 가이드, 'Awesome Go' 저장소 Go 프레임워크, 라이브러리, 소프트웨어를 엄선해 모은 큐레이션 목록이다. 오픈소스 · 도구 · avelino/awesome-go · Go
Key Point Go 개발자라면 새 프로젝트를 시작할 때마다 참고할 수 있는 가장 포괄적인 생태계 맵이며, 특히 AI/LLM 도구가 크게 늘어난 것을 한눈에 볼 수 있다.
핵심 요약
Go 프레임워크, 라이브러리, 소프트웨어를 엄선해 모은 큐레이션 목록이다. Actor Model, AI, 오디오, 인증, 블록체인, CLI, 데이터베이스, 보안, 테스트, 웹 프레임워크 등 60개 이상 카테고리로 구성되어 있다. AI 섹션은 AegisFlow, LocalAI, Ollama, langchaingo 등 LLM 게이트웨이, 에이전트 프레임워크, 벡터 DB 등 30개 이상 라이브러리를 포함한다. 전체 요약 6문장 읽기 → 003 11:10 당일 +104 다양한 AI 모델을 한 곳에서 통합 관리하는 게이트웨이 New API는 OpenAI, Claude, Gemini 등 서로 다른 LLM들을 호환 가능한 포맷으로 변환해주는 통합 AI 모델 허브다. AI · 머신러닝 · QuantumNous/new-api · Go
Key Point 여러 AI 서비스의 API를 통합 관리하고 비용 추적이 필요한 개발팀이나 AI 기반 제품을 운영하는 기업이 자체 게이트웨이를 구축할 때 바로 활용 가능한 오픈소스 솔루션이다.
핵심 요약
New API는 OpenAI, Claude, Gemini 등 서로 다른 LLM들을 호환 가능한 포맷으로 변환해주는 통합 AI 모델 허브다. 조직 수준의 토큰 관리, 모델별 제한, 사용자 권한 관리를 지원하며 요청별·사용량 기반 정산과 캐시 비용 계산 기능을 제공한다. Discord, LinuxDO, Telegram, OIDC 등 다양한 인증 방식을 지원하고 OpenAI Realtime API를 포함한 여러 API 포맷을 호환한다. 전체 요약 5문장 읽기 → 004 08:12 당일 +1,117 자신의 모델을 소유하면서 비용을 절감하는 오픈소스 LLM 게이트웨이 Experiential은 OpenAI 호환 API 하나로 자체 호스팅, BYOK, 1000개 이상의 마켓플레이스 모델을 통합 관리하는 오픈소스 게이트웨이다. AI · 머신러닝 · experientiallabs/experiential · Python
Key Point 프로덕션 트래픽 데이터로 자신이 소유한 모델을 최적화하면서도 OpenAI 호환 인터페이스로 기존 도구와 호환되어, LLM 비용 관리와 성능 개선을 동시에 달성할 수 있다.
핵심 요약
Experiential은 OpenAI 호환 API 하나로 자체 호스팅, BYOK, 1000개 이상의 마켓플레이스 모델을 통합 관리하는 오픈소스 게이트웨이다. 사용자와 에이전트별로 어떤 모델을 사용할 수 있는지, 각 용도별 지출 한도를 제어할 수 있다. 프로덕션 트래픽으로부터 OpenTelemetry 추적을 수집하고 이를 통해 커스텀 라우터를 학습시켜 품질, 속도, 비용을 최적화한다. 전체 요약 5문장 읽기 →