에이전트 강화학습, 다양한 도구 구성으로 일반화 능력 향상
원제 Harness Scaling for Generalizable Agentic Reinforcement Learning
추천 21댓글 1
Key Point
에이전트 RL의 성능이 도구 구성 설정의 다양성에 따라 크게 달라지는 만큼, 이 새로운 스케일링 차원이 실제 시스템 배포 시 안정성과 적응성을 높일 수 있다.
핵심 요약
- 에이전트 시스템의 핵심인 하네스(harness)는 모델의 도구 사용, 컨텍스트 관리, 장기 작업 조정을 담당하는데, 이를 효과적으로 활용하려면 강화학습이 필수다.
- 기존 접근법은 단일 하네스로만 학습해 특정 구성에 최적화되고 다른 설정으로의 전이 능력이 제한됐다.
- 연구팀은 '하네스 스케일링(Harness Scaling)'을 제안해 다양한 실행 구성으로 학습 범위를 확대한다.
- 인수분해된 하네스 공간을 구성하고 균형잡힌 커버리지의 컴팩트한 학습 부분집합을 선택한 뒤, 같은 작업에서 전역 커버리지와 통제된 변이를 결합한 교차 하네스 학습을 수행한다.
- 다양한 벤치마크, 모델 규모, RL 알고리즘에서 하네스 스케일링은 미지의 화이트박스 구성으로의 일반화를 일관되게 개선했다.
- 구조화된 화이트박스 변이로 학습한 모델이 미지의 블랙박스 하네스로 효과적으로 전이되며, 단일 복잡한 블랙박스 하네스로 학습한 모델을 능가한다.