LLM 에이전트의 비용 줄이는 경량 의사결정 모델 JevAgentHarness
원제 JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs
추천 18댓글 2
Key Point
LLM 에이전트의 매 단계 호출 비용을 줄이는 실질적 방법을 제시하며, 실제 에이전트 동작 환경에서의 검증과 훈련 전략이 비용-성능 트레이드오프를 어떻게 개선하는지 보여준다.
핵심 요약
- LLM 에이전트는 매 단계마다 대규모 언어모델을 호출하는데, 대부분의 호출이 '다음에 어떤 도구를 쓸지' 같은 선택지 문제로 끝나 비용과 시간이 낭비된다.
- Jev 같은 경량 의사결정 모델은 이런 선택을 LLM 호출 비용의 일부로 직접 처리할 수 있다.
- 연구팀은 에이전트의 실제 동작 환경에서 의사결정 모델을 평가하는 AgentDecisionBench를 만들었고, 고립된 질문에서 정확도가 높아도 에이전트 작업 성공률은 69.5%에 불과함을 발견했다.
- 신뢰도 임계값 없이 도구 선택을 위임하면 성공률이 19.0포인트 떨어진다.
- JevAgentHarness는 에이전트의 실제 궤적에서 각 선택의 임계값을 조정하고, 그 아래에서는 LLM이 판단하도록 설계했다.
- 기존 의사결정 모델은 에이전트가 자신의 실수 후 도달한 상태를 본 적이 없으므로, AgentDecision-4B를 만들어 그런 상태에서 Jev의 답변으로 학습시켰다.
- 훈련 데이터와 다른 작업에서는 AgentDecision-4B로 91.5%, Jev로 82.0% 성공률을 달성했다.
- 훈련 데이터와 유사한 작업에서는 4B 모델이 작업 성공률을 3포인트 이상 잃지 않으면서 비용을 81.1~89.0% 절감하고 속도를 최대 2.5배 단축했다.
- 모델, 데이터, 하네스는 깃허브에서 공개할 예정이다.