로봇 에이전트의 제어 로직을 경험으로 직접 개선하는 EMHO
원제 EMHO: EMbodied Agent Harness Optimization via Experience Traces
추천 10댓글 4
Key Point
모델을 동결한 채 에이전트 제어 로직만 경험으로 개선하는 접근이 실제로 작동하는지 보여주는 논문이며, 현재 고정된 프롬프트와 휴리스틱에 의존하는 로봇 시스템의 한계를 개선하는 경로를 제시한다.
핵심 요약
- 기존 임보디드 에이전트(로봇 에이전트) 개선은 모델 학습에 집중하는데, 계획과 도구 사용을 관리하는 '에이전트 하네스(harness)'는 수동으로 설계된다.
- 새로운 EMHO 프레임워크는 모델을 고정한 채 실행 궤적(execution trajectories)과 과거 하네스 기록을 분석해 하네스를 반복적으로 개선한다.
- EMHO는 프롬프트 수정을 넘어 에이전트가 진행상황을 모니터링하는 방식, 비전 도구 활용, 환경 이해(grounding), 실패 대응 방식까지 수정한다.
- 여러 작업에 단일 하네스를 적용할 때의 트레이드오프를 다루기 위해 EMHO-Merge를 제안하며, 에피소드 단위의 성과와 손실로 개선 사항의 적용 시점과 방식을 판단한다.
- EmbodiedBench에서 내비게이션과 조작 작업으로 평가한 결과, Qwen 9B과 27B 모델 모두에서 작업 성공률이 지속적으로 개선됐다.
- 정성적 분석에 따르면 EMHO는 실패 회복이나 비생산적 행동 제거를 넘어 에이전트가 환경을 해석하고 상호작용하는 방식 자체를 재구성한다.