긴 작업도 '문제없이' 아젠트를 훈련하는 방법
원제 ProgAgent: Learning Tool Orchestration through Programmatic Training
추천 13댓글 2
Key Point
컨텍스트 길이 한계가 늘어가는 상황에서 복잡한 작업을 수행하는 에이전트의 근본적인 훈련 방식에 대한 실증적 개선안을 제시하고 있다.
핵심 요약
- LLM 기반 에이전트는 여러 도구를 조합해 긴 작업을 수행해야 하는데, 기존의 직접 도구 호출(DTC) 방식은 도구 응답이 컨텍스트에 계속 쌓여 컨텍스트 부패와 오케스트레이션 실패를 초래한다.
- 프로그래밍 방식 도구 호출(PTC)은 실행 가능한 코드를 통해 도구를 호출하고 중간 결과를 런타임 변수에 저장하는 방식으로, 기존 연구에서는 추론 시점 최적화로만 탐구되었다.
- ProgAgent는 검증 가능한 장기 작업 합성 파이프라인, 경량 PTC 런타임, 2단계 훈련 레시피로 구성된 완전한 PTC 훈련 스택을 제시한다.
- 4개 환경 규모에서 인스턴스화한 215개 작업만으로 훈련했음에도 비슷한 크기의 기존 모델을 능가했다.
- LOCA-bench에서 ProgAgent-14B는 64k 토큰 환경 상태에서 30.7% 패스율을 달성했으며, 비교 대상 모델들은 0%였다.
- PTC 훈련을 받은 모델이 평가 인터페이스 모두에서 DTC 훈련 모델을 능가해, PTC 훈련의 이점이 특정 인터페이스를 넘어 일반화됨을 보여준다.