Hugging Face 논문AI · 머신러닝

성능 낮은 모델도 강화학습 교사로 활용 가능

원제 Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents

추천 34댓글 5Haochen Liu, Qianhao Zhu, Zixuan Wang 외
Key Point

장기 시간 신호 문제가 있는 강화학습에서 성능 낮은 모델도 판사·교사로 활용하면 정책 학습 효율을 크게 높일 수 있어, 에이전트 훈련 전략의 관점을 바꿀 수 있다.

핵심 요약

  • 결정 모델은 행동 선택, 행동 평가, 정책 학습 등 다양한 역할을 수행하는데, 기존 연구는 주로 행동 선택자(액터)로서의 성능만 평가했다.
  • ALFWorld와 WebShop 환경에서 결정 모델 3개와 LLM 6개를 액터·판사·교사 역할로 비교 평가한 결과, 액터로서 성능이 낮아도 판사나 교사로는 우수할 수 있음을 확인했다.
  • 액터 역할에서 모든 모델이 먼저 거쳐야 할 부분 목표를 무시하고 더 쉬운 목표로 쏠렸지만, 판사 역할에서 전체 궤적을 보면 올바른 단계에 신용을 부여했다.
  • 판사가 '작업 완료 여부' 대신 '각 행동이 도움이 되었는가'를 묻도록 설계하면 유용한 행동과 무용한 행동을 더 잘 구분했다.
  • 교사 역할에서 JEV 모델은 Qwen2.5-1.5B 정책을 GRPO 기반에서 ALFWorld 72.8%→82.9%, WebShop 56.8%→71.4%로 성공률을 높였다.
  • 결과적으로 행동 예측은 못해도 에피소드 종료 후 행동의 결과를 평가하면 정책을 효과적으로 학습시킬 수 있다는 점을 시사한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗