AI 에이전트의 추론 속도 2배 단축 기법 제안

핵심 요약

• 대규모언어모델 에이전트는 도구 호출의 긴 연쇄로 작업을 수행하는데, 기존엔 강력한 하나의 모델이 모든 단계를 생성한다.
• 기존 추측 기법은 약한 모델의 결과를 한 단계씩 검증하거나, 라우팅으로 어느 모델이 각 단계를 처리할지 결정한다.
• 논문에서 제안한 SpecAgent는 역할을 바꿔 약한 모델이 단계를 초안으로 작성하고 강력한 모델이 검증자로 변경한다.
• 약한 모델은 읽기 전용 도구 호출을 실행하면서 초안을 작성하고, 환경을 수정하는 첫 액션 직전에 멈춘다.
• 강력한 모델은 한 번의 병렬 처리로 초안 구간을 검증하고, 의미상 타당한 가장 긴 부분을 커밋한 뒤 거부된 첫 단계를 수리한다.
• 자동회귀 디코딩을 병렬 처리로 대체하므로, 강력한 모델은 모든 단계가 아니라 짧은 판정과 가끔의 수리만 생성한다.
• τ^2-Bench에서 SpecAgent는 강력한 모델과 1점 이내의 성공률을 유지하면서 메모리 트래픽과 실행 시간을 약 50% 감축했다.
• AutomationBench와 VitaBench에서는 성능 격차의 44~75%를 회복하면서 메모리와 지연 시간을 모두 감소시켰다.
• MCP-Atlas의 에지-클라우드 배포에서 3개 클라우드 모델과 함께 작동할 때, 약한-강력 모델 간 품질 격차의 53~75%를 좁혔다.
• 이 구성에서 강력한 모델은 최대 절반 수준의 토큰만 생성한다.
• 연구 결과는 강력한 모델이 모든 에이전트 단계를 직접 작성할 필요 없이, 관찰에 기반한 초안을 검증하는 방식으로 대부분의 품질을 유지하면서 지연 시간과 메모리 트래픽을 크게 줄일 수 있음을 시사한다.