아마존, 클로드 소닛을 의사결정 AI로 대체하며 비용 98% 절감
원제 Amazon saves millions by replacing Sonnet 4.6 with Strands Decider
230 포인트댓글 75

Key Point
대규모 분류 작업에서 경량 의사결정 모델이 거대 언어모델을 완전히 대체하면서 비용을 98% 절감한 실제 사례로, 에이전트 개발의 새로운 경제성을 보여준다.
핵심 요약
- 아마존은 내부 티켓 분류 작업에 사용하던 Claude Sonnet 4.6을 Strands Decider라는 의사결정 모델로 교체했다.
- Strands Decider는 텍스트를 생성하지 않고 주어진 상태와 선택지에 대해 각 옵션의 확률과 신뢰도 점수만 반환하는 모델이다.
- 원래 Strands Decider 2B에서 시작했으나 E4B Gemma 4 빌드로 전환하자 Sonnet보다 더 나은 성능을 보였다.
- Strands Decider는 SageMaker ml.g5.xlarge 인스턴스에서 약 640ms의 응답 시간으로 운영되며, 요청당 약 500마이크로달러의 비용이 든다.
- Sonnet 4.6은 평균 응답 시간 4,215ms에 티켓당 2,210개 토큰을 소비해 티켓당 약 0.022달러 비용이 들었다.
- Strands Decider는 요청당 640ms만 소요되고 토큰 사용량을 70% 줄여 티켓당 0.0005달러 수준으로, 전체적으로 44배 저렴하고 연간 수백만 달러를 절감할 것으로 예상된다.
- 비용 절감의 핵심은 Strands Decider가 간단한 JSON 대신 선택지 확률만 반환하고, 20개 범주를 한두 문장 기준으로 재작성해 프롬프트를 대폭 단축했기 때문이다.
- 아마존은 Sonnet과 Strands Decider를 병렬로 실행하는 3단계 전환 방식을 사용해 완전히 전환한 날짜에 Lambda 평균 실행 시간이 74% 단축됨을 확인했다.
- JSON 키 순서가 출력 확률을 최대 0.19까지 변동시키는 예상치 못한 문제를 발견했고, 정렬된 키로 요청을 보내는 방식으로 해결했다.
- 이 방식이 효과적인 이유는 정해진 카탈로그에서 선택하는 폐쇄형 작업이고 대량의 요청이 지속되며 응답 속도가 중요했기 때문이다.
- 설명 텍스트가 필요하거나 카탈로그가 자주 변경되거나 필요한 맥락이 몇 천 토큰에 맞지 않으면 의사결정 모델로 LLM을 대체하기 어렵다.
- 아마존은 프로덕션 트래픽에서 두 모델을 병렬 실행해 모든 불일치를 판단하는 방식을 권장하며, 이는 오프라인 평가보다 더 많은 정보를 제공하고 롤백도 45초의 설정 변경으로 가능하다.