에이전트 제어 모델, 비용만 올리고 성능은 못 올려
원제 Good Judgment, Bad Advice: Decision-Model Controllers Raise Agent Cost Without Improving Success
추천 14댓글 1
Key Point
작은 모델을 에이전트 제어에 쓰면 비용이 줄 것이라는 가정이 현실 데이터에서 부정되었으며, 오프라인 성능이 좋아도 실제 배포에서는 역효과를 낼 수 있음을 보여준다.
핵심 요약
- AI 에이전트가 중단, 검증, 전략 변경 같은 소결정을 저비용 모델에 위임하는 추세 속에서, 특수 설계된 결정 모델 Jev 1.13이 Claude Sonnet 5.5 에이전트를 더 싸게 돌릴 수 있는지 실험했다.
- Terminal-Bench 2.1의 21개 과제(315시험)에서 Jev는 성공률을 73.0%에서 73.0%로 유지하면서 시도당 비용을 19% 올렸다(기하평균 비율 1.19, 95% 신뢰구간 1.02-1.36).
- Jev는 Claude Haiku 5.5 소형 언어 모델보다 21% 싸웠지만 위약 대조(개발 단계 선택 빈도로 샘플링)보다는 22% 더 비쌌다.
- 오프라인 평가에서 Jev는 완료 요청을 규칙(AUROC 0.62)과 소형 LLM(0.60)보다 잘 순위지었으나(AUROC 0.78), 보정이 매우 나빴다.
- Jev는 실행이 완료될 확률을 평균 50%로 예측했지만 실제로는 그 실행의 87%가 성공했기 때문에, 이미 맞는 작업을 검증하도록 에이전트를 불필요하게 지시했다.
- 어떤 제어 모델도 실행 포기를 선택하지 않았고, 정보성 있는 결정 신호가 유용한 개입으로 변하지 않았다.