AI 에이전트의 비용 75~91% 절감하는 경량 판단 시스템 제안
원제 Thinking Fast, Anywhere: One System-1 for the Decision Points of Any Agent Workflow
추천 16댓글 6
Key Point
LLM 에이전트의 추론 비용이 급증하는 실무 문제를 범용적으로 해결하는 접근법으로, 성능 손실 없이 비용을 대폭 줄일 수 있는 실현 가능한 방법을 제시한다.
핵심 요약
- 자율형 LLM 에이전트가 매 단계마다 대형 모델(System-2)을 호출하면 비용과 지연이 크게 증가하는데, 많은 중간 작업이 사전에 정해진 소수의 선택지 중에서만 고르는 문제를 다룬다.
- 기존 이중 체계 에이전트는 가벼운 System-1 모델로 이런 결정을 처리하지만 환경별로 별도의 설정이 필요한 한계가 있다.
- AnyS1은 인간이 작성한 절차형 기술(instruction)에서 선택이 필요한 지점과 가능한 옵션을 자동으로 추출해 도메인 범용 결정점으로 변환하는 프레임워크를 제시한다.
- 1,000개 이상의 공개 기술에서 열거 가능한 결정을 채광하고, 격리된 컨테이너에서 실행 기반 궤적을 수집해 Any-DP 데이터셋을 구축한 뒤, 라벨 스무딩을 적용해 단일 보정된 4B 포인터 System-1을 훈련한다.
- 런타임에는 컴파일된 워크플로우가 일상적 결정을 한 번의 순전파로 해결하고, 신뢰도가 보정된 임계값 아래로 내려가면 System-2로 폴백한다.
- 세 개의 미시험 벤치마크와 서로 다른 System-2 모델 가족에 걸쳐 작업 신뢰성을 유지하면서 에피소드당 비용을 75~91% 감소시키고 모델 호출 시간을 63~92% 단축한다.
- 별도 임계값 설정 없이도 성능을 유지하는 영점 전이 가능성도 입증했다.