터미널 에이전트를 단계적으로 강화하는 Terminal-RSI 알고리즘
원제 Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine
추천 26댓글 1
Key Point
에이전트가 복잡한 터미널 작업을 완전히 완료하도록 유도하는 새로운 학습 방식이 여러 벤치마크에서 뚜렷한 개선을 보여주고 있다.
핵심 요약
- 터미널 에이전트의 성능을 높이기 위해 검증된 궤적 재작성(RSR)과 정책 개선(RPR)을 교대로 적용하는 Terminal-RSI를 제안했다.
- Turn-Boundary Skip-Observation GAE(TB-GAE) 방식으로 토큰별 기준선을 유지하면서 상호작용 턴 간 감쇠를 적용한다.
- Family Dense Reward(FDR)는 작업군 간 의미론적 진행을 조정하고, Success-Prioritized Reward(SPR)는 완전한 성공과 부분 성공을 구분한다.
- 웜업 크리틱 모델과 재귀적 크리틱 인수인계로 두 개선 단계를 조율한다.
- Qwen 3.8-27B 기본 모델에서 시작해 RSR-1, RPR-1, RSR-2, RPR-2의 다섯 단계를 거쳐 Terminal-RSI-27B를 완성했다.
- Terminal-Bench 4.0에서 19.84%, Terminal-Bench 2.1에서 86.52%, Terminal-Bench 3.0에서 16.95%, Terminal-Bench Hard에서 79.00%의 정확률을 달성했다.
- LHTB 벤치마크에서 프로세스 리워드가 0.21에서 0.37로 올랐고, 완전 완료는 46개 중 0개에서 5개로 증가했으며, SWR100 성공률은 3.00%에서 6.00%로 두 배 증가했다.
- 각 단계에서 발견된 행동을 정착시키고, 부분적 수정으로부터 엄격한 터미널 검증까지 에이전트를 점진적으로 발전시키는 방식으로 동작한다.