에이전트를 엣지에서 실행하되 필요할 때만 클라우드 LLM 호출

핵심 요약

• 장기 작업을 수행하는 AI 에이전트는 보통 클라우드의 고성능 LLM을 매 스텝마다 사용하는데, 이는 높은 추론 비용을 초래한다.
• 연구팀이 발견한 핵심은 모든 스텝이 강력한 모델을 필요로 하지 않으며, 중요한 일부 스텝에만 LLM을 할당해도 전체 성능과 비슷한 결과를 낼 수 있다는 것이다.
• EdgeWise는 로컬 디바이스에 작은 언어모델(SLM)을 배포하고, 강력한 능력이 필요한 중요한 스텝만 선택적으로 클라우드 LLM으로 위임하는 엣지-클라우드 협력 프레임워크다.
• 추가 모델 없이 자동 위임을 가능하게 하기 위해 단계별 강화학습을 도입했으며, 이는 작업 해결과 위임 최적화를 함께 학습하고 각 위임 결정에 대한 세밀한 신용 할당을 수행한다.
• 외부 판정자 기반 위임 전략을 추가로 도입해 언제 위임할지, 어떻게 결정할지, 어떤 맥락을 공유할지, 클라우드 LLM을 얼마나 자주 호출할지 등 주요 설계 선택 사항을 체계적으로 조사했다.
• 실험 결과 EdgeWise는 순수 LLM 실행과 동등하거나 더 나은 성능을 유지하면서 SWE-Rebench에서 추론 비용을 62%, Terminal-Bench 2.1에서 34% 감소시켰다.
• 로컬 워크스테이션에 실제로 배포한 결과도 유사한 비용 절감을 달성했다.