LLM 에이전트의 추론 오류 자동 수정하는 세계 모델
원제 Agent-Editing World Model: Rethinking World Modeling for LLM Agents
추천 19댓글 2
Key Point
LLM 에이전트의 추론 오류를 자동으로 감지하고 수정하는 실용적 방법을 제시하며, 여러 복잡한 작업에서 일관된 성능 향상을 보여준다.
핵심 요약
- LLM 에이전트는 장기 작업 수행 시 역사 정보 속 오래된 가정과 계획이 이후 결정을 왜곡하는 '작업 상태 오염' 문제를 겪는다.
- 기존 세계 모델은 도구 응답을 예측하지만, 실제 피드백이 있을 때는 제한적 가치를 가진다.
- Agent-Editing World Model(AEWM)은 도구 응답 시뮬레이션 대신 추론과 행동이 작업 진행을 어떻게 형성하는지 모델링한다.
- Action Judge는 의사결정을 Critical(중요), Exploratory(탐색), Noisy(잡음)로 분류하고, State Revision이 같은 관찰 이력에서 노이즈 있는 추론-행동 연속성을 수정한다.
- EditAct는 이 기능들을 실제 실행과 통합하여 비판만 제공하는 것이 아니라 이후 결정의 기초가 되는 상태를 직접 변경한다.
- 검색, 터미널, 소프트웨어 엔지니어링 과제에서 학습한 AEWM은 Action Judge 벤치마크에서 70.5% macro-F1을 달성하며 최강 기준선을 10.6포인트 초과한다.
- 6개 벤치마크와 3개 에이전트 백본에서 EditAct는 최강 기준선 대비 평균 3.2~6.7포인트 성능 향상을 달성한다.
- 검증된 EditAct 궤적으로 rejection sampling 미세조정한 AEWM-RFT는 온라인 AEWM 지원 없이도 3개 도메인에서 Self-RFT 대비 2.2~2.6포인트 개선된다.