비용 65% 줄이고 정확도까지 높이는 AI 에이전트 협업
원제 AgentBaton: Efficient Model Collaboration in Agentic Tasks
추천 21댓글 4
Key Point
고성능 AI 모델 비용을 획기적으로 줄일 수 있는 실용적 방법이 제시되어, 개발 팀이 AI 에이전트 프로젝트의 운영 비용을 최적화하는 데 바로 적용할 수 있다.
핵심 요약
- 장기 작업을 수행하는 AI 에이전트는 클라우드의 고성능 모델로 구동하면 비용이 비싼 반면, 저비용 모델은 성능이 떨어진다.
- 연구팀은 고성능 모델과 저비용 모델이 하나의 장기 작업 내에서 협력할 때 비용을 줄이면서도 정확도를 유지할 수 있는지 체계적으로 조사했다.
- 모델 간 역할 교대(handoff)를 통해 협력하며, 교대 방향(누가 누구에게 넘길지)과 맥락 전달 방식을 핵심 설계 항목으로 삼았다.
- 저성능 모델에서 고성능 모델로의 교대는 효과가 제한적이거나 비용 감소 없이 성능 저하만 초래한다.
- 고성능 모델에서 저비용 모델로 적절한 시점에 교대하면 정확도를 유지 또는 향상하면서도 비용을 대폭 줄일 수 있다.
- 이 원리에 따라 AgentBaton이라는 경량 탐지기를 개발했으며, 작업 진행 패턴에서 최적의 교대 시점을 학습한다.
- 11개 모델 쌍과 2개 벤치마크에서 평균 65.9%의 API 비용 절감을 달성했고, 정확도는 유지되거나 최대 8.8 포인트 향상됐다.
- 다양한 추론 강도 설정에서 AgentBaton은 비용-정확도 파레토 프론티어를 확장했다.