형제 강화학습으로 AI 에이전트 일반화 성능 높인다
원제 Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training
추천 18댓글 1
Key Point
다양한 환경 조합으로 학습한 정책이 원래 환경에서도 우수한 성능을 유지하는 기법이 제시되어, 일반화 성능이 중요한 AI 에이전트 개발에 실질적 개선책을 제안한다.
핵심 요약
- AI 에이전트 학습에서 하나의 기본 실행 환경(base harness)이 모든 작업에 최적이 아니라는 문제를 다룬다.
- Harness-S는 기본 환경에서 실패한 케이스를 여러 형제 환경(sibling harnesses)에서 복구하되, 학습 후에도 원래 기본 환경에서 효과적으로 동작하도록 정책을 단일화한다.
- Directional Harness Evolution으로 서로 다른 수리 방향으로 특화된 형제 환경들을 개발한 뒤, 정책 학습 중에는 고정된 Sibling Harness Pool을 만든다.
- Complementary Harness Rescue Training은 기본 환경에서 모든 초기 시도가 실패할 때만 이 풀을 활용해 선택된 보조 환경에서 새로운 궤적을 생성하고 강화학습에 사용한다.
- Adaptive Harness Router는 Harness Behavior Profiles과 여러 LLM의 투표를 통해 상위 k개 환경 변형을 선택한다.
- 정책이 학습하면서 프로파일을 정책-인식 방식으로 재앵커링해 라우터의 판단을 계속 갱신한다.
- AppWorld, SWE-Gym, DBBench에서 학습된 정책은 원래 기본 환경으로 돌아갔을 때 정책만 학습한 경우를 상당히 초과한다.
- 동작 분석과 미포함 케이스 검증 결과, 환경이 유발한 행동들이 정책 자체에 전이되었음을 입증한다.
- 라우터를 Rank-1 추론에 재사용하면 같은 실행 횟수에서 추가 이득을 얻는다.