클라우드 API, 기본값으로 지출 상한선을 둬야 한다
원제 We're going to need default hard budget caps on pretty much everything
225 포인트댓글 123
Key Point
AI 에이전트가 자동으로 API를 호출하는 시대에 예산 폭탄을 막기 위한 인프라 설계 문제를 다루고, AWS와 Google Cloud가 이를 실제로 구현하기 시작한 상황을 설명한다.
핵심 요약
- 코딩 에이전트 시대에 자동화된 서비스가 통제 불능으로 치달아 수천~수만 달러 청구서가 나오는 사태를 막으려면, 유료 API와 클라우드 서비스는 기본값으로 월별 하드 예산 상한선을 제공해야 한다.
- 경고 이메일(소프트 캡) 같은 방식은 불충분하다. 사용자가 자는 동안 rogue 서비스가 계속 요금을 쌓을 수 있기 때문이다.
- 기업들이 예산 초과로 서비스가 중단되는 것을 꺼린다는 반론이 있지만, 대부분은 5자리 이상의 예상치 못한 청구서보다 에러를 받는 쪽을 선택할 것이다.
- 상한선이 필요한 사용자를 위해서는 '예산 상한선 제거' 체크박스를 눈에 띄는 곳에 배치해, 초과 요금에 대한 책임은 사용자가 지도록 명시해야 한다.
- AWS는 9월 16일 신규 경험에서 월별 지출 한도 기능을 출시했고, 프로젝트가 한도에 도달하면 그 달은 pause 상태가 된다.
- Google Cloud도 7월에 개별 서비스별로 월간 상한선을 설정하는 Spend Caps 기능을 추가했다.
- AI 에이전트들이 미래에는 하드 예산 상한선을 지원하는 제공자를 권장하고, 초보 개발자들을 무제한 서비스 배포에서 경고하도록 진화할 수 있을 것으로 기대된다.