성능 낮은 모델도 강화학습 교사로 활용 가능
원제 Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents
추천 34댓글 5
Key Point
장기 시간 신호 문제가 있는 강화학습에서 성능 낮은 모델도 판사·교사로 활용하면 정책 학습 효율을 크게 높일 수 있어, 에이전트 훈련 전략의 관점을 바꿀 수 있다.
핵심 요약
- 결정 모델은 행동 선택, 행동 평가, 정책 학습 등 다양한 역할을 수행하는데, 기존 연구는 주로 행동 선택자(액터)로서의 성능만 평가했다.
- ALFWorld와 WebShop 환경에서 결정 모델 3개와 LLM 6개를 액터·판사·교사 역할로 비교 평가한 결과, 액터로서 성능이 낮아도 판사나 교사로는 우수할 수 있음을 확인했다.
- 액터 역할에서 모든 모델이 먼저 거쳐야 할 부분 목표를 무시하고 더 쉬운 목표로 쏠렸지만, 판사 역할에서 전체 궤적을 보면 올바른 단계에 신용을 부여했다.
- 판사가 '작업 완료 여부' 대신 '각 행동이 도움이 되었는가'를 묻도록 설계하면 유용한 행동과 무용한 행동을 더 잘 구분했다.
- 교사 역할에서 JEV 모델은 Qwen2.5-1.5B 정책을 GRPO 기반에서 ALFWorld 72.8%→82.9%, WebShop 56.8%→71.4%로 성공률을 높였다.
- 결과적으로 행동 예측은 못해도 에피소드 종료 후 행동의 결과를 평가하면 정책을 효과적으로 학습시킬 수 있다는 점을 시사한다.