강화학습 에이전트 최적화, 방법 많다고 더 나을까
원제 More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
추천 76댓글 2
Key Point
에이전트 강화학습의 자기증류 방법이 계속 제안되는 가운데, 실제로 더 많은 방법이 더 나은 성능을 보장하지 않는다는 점이 중요하기 때문에 방법론 선택과 연구 방향에 영향을 미친다.
핵심 요약
- 에이전트 강화학습의 자기증류 방법들이 증가했지만, 기존 평가는 다른 실험 조건에서 발표된 기준점을 재사용하고 동시대 방법들 간 직접 비교가 부족하며 훈련 안정성과 계산 비용을 거의 고려하지 않았다.
- 연구팀은 10가지 대표 방법을 GRPO와 함께 ALFWorld, ScienceWorld, Search-QA, WebShop에서 3가지 모델 크기로 비교했으며, 132개 훈련 실행과 총 12,124.4시간의 H800 GPU를 사용해 8개 롤아웃 시드로 반복 평가했다.
- 최종 성능 외에 훈련 진행률, 안정성, 측정된 계산 비용을 조사했고, GRPO 대비 성능 향상이 제한적이며 모든 설정에서 지속적으로 뛰어난 방법이 없음을 발견했다.
- 강한 최종 성능이 불안정한 훈련을 숨길 수 있으며, 추가 훈련 비용이 반드시 더 나은 성능으로 이어지지 않는다는 것이 핵심 결과다.
- 공정하고 포괄적인 비교를 지원하고 향후 연구가 신뢰할 수 있고 비용 효율적인 에이전트 훈련 개선으로 나아가도록 유도하기 위해 이 벤치마크를 구축했다.