멀티턴 에이전트 학습의 진행도 신호, DeltaTTG 제안
원제 DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter
추천 27댓글 1
Key Point
기존 멀티턴 에이전트 강화학습에서 각 단계의 가치를 판단하는 방식의 비용 문제를 해결하는 새로운 접근으로, 실제 성능 향상을 실증한 방법입니다.
핵심 요약
- 강화학습에서 검증 가능한 보상(RLVR)으로 멀티턴 에이전트를 학습할 때 최종 보상만으로는 각 단계의 품질을 판단하기 어려운 문제를 다룬 논문입니다.
- 기존 방식은 상태 매칭의 신뢰성 확보나 외부 평가자·인간 주석·작업별 휴리스틱이 필요해 비용이 많이 들기 때문입니다.
- DeltaTTG는 다양한 정책의 궤적 기록으로부터 저비용 감독 신호를 얻어 재사용 가능한 진행도 신호를 학습합니다.
- 감독 신호로는 Token-to-Go(TTG)를 사용하는데, 이는 작업 완료까지 남은 토큰 수로 남은 완성 비용을 측정하는 관측 가능한 지표입니다.
- 학습 중에는 고정된 진행도 미터의 예측값 변화를 이용해 최종 보상으로부터 얻은 장점을 단계별로 재배분하되, 보상 자체는 바꾸지 않고 각 궤적의 장점 부호와 토큰 평균 스케일을 유지합니다.
- ALFWorld, PaperSearchQA, BFCLv3에서 테스트 결과 Qwen3-4B 기준 GRPO 대비 평균 점수가 5.7점, Llama-3.1-8B-Instruct 기준 7.2점 향상되었습니다.
- 비교된 모든 강화학습 기저 방식보다 평균적으로 우수한 성능을 보였으며, 행위자 학습의 GPU 시간은 GRPO에 가깝게 유지했습니다.
- 추가 실험에서 표본 효율성과 도메인 외 성능이 개선되었으며, 진행도 미터가 단계 품질을 구분하고 테스트 시점의 행동 선택을 안내할 수 있음을 확인했습니다.