쿼리마다 다른 에이전트 구조 자동 설계하는 SHIFT 발표
원제 Dynamic Harness Search: Building Multi-Agent Systems Per-Query via Prediction
추천 10댓글 1
Key Point
마이크로소프트·구글 같은 기업들도 멀티에이전트 워크플로우를 점점 더 활용하고 있는 가운데, 각 질문에 맞는 최적의 에이전트 구조를 비용 효율적으로 자동 설계하는 방법이 제시되었기 때문이다.
핵심 요약
- 멀티에이전트 시스템의 역할·명령어·도구·통신 구조(harness)는 각 쿼리에 따라 달라져야 하는데, 기존에는 추론 시 여러 옵션을 실행하거나 수동으로 설계해야 했다.
- SHIFT는 로컬 LLM 아키텍트가 탐색으로부터 harness 구성 정책과, 실행 결과로부터 정확도 대비 실행 비용을 예측하는 가치함수를 학습한다.
- 각 쿼리마다 Monte Carlo tree search가 이 예측값들을 이용해 harness를 구성하므로, 실행 과정을 탐색 루프 밖으로 옮긴다.
- 6개 벤치마크 9,193개 과제(수학·문서·일반 어시스턴트)에서 Gemini 3.5 Flash 실행자로 평가한 결과, SHIFT는 약 80% 평균 정확도를 달성해 17개 기준선을 모두 능가했다.
- 가장 강한 기준선보다 7.2 퍼센트포인트 높은 정확도를 보였고, 저비용 모드에서도 모든 기준선보다 높은 정확도를 유지하면서 토큰 사용량은 32% 줄였다.
- 구조·명령어·도구를 함께 최적화하는 것이 각각만 최적화하는 것보다 최대 9.1 퍼센트포인트 더 높은 정확도를 낸다는 것을 확인했다.
- 학습된 가치함수를 통해 후보 풀에서 더 정확하면서 실행 비용이 낮은 harness를 식별할 수 있다.