장기 추론 에이전트를 위한 나무 구조 기반 정책 자기 증류법
원제 Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
추천 34댓글 3
Key Point
장기 수평선 에이전트 학습 시 정책 편차와 신용할당 문제를 동시에 해결하는 새로운 방식이 기존 GRPO보다 실제 성과를 개선했기 때문입니다.
핵심 요약
- 강화학습 후 훈련에서 장기 상호작용을 학습할 때 터미널 보상만으로는 각 턴의 신용할당이 희소하고 고분산이 되는 문제가 있다.
- 기존 방식은 학습된 비평가, 과정 보상 모델, 온정책 증류 등으로 더 조밀한 신용을 얻지만 가치 네트워크나 강한 외부 교사가 필요해 훈련 복잡도가 높다.
- TreeOPSD는 비평가 없이 각 상호작용 턴을 나무 노드로 취급하고 공유 접두사에서 대안 경로를 분기하며 터미널 보상을 재귀적으로 역전파해 암묵적 턴 수준 신용을 생성한다.
- 각 신용을 고정된 행동 정책 대비 우도비로 매개변수화한 닫힌형 경계 교사 분포로 매핑하고 교사와 학생 정책 간 발산을 최소화한다.
- 이 방식은 행동 정책에서의 정책 경사 방향을 회복하면서 순차 미니배치 업데이트의 발산을 유한한 목표로 제한한다.
- Qwen3-30B-A3B-Thinking-2507 모델에서 Deep Research 설정의 평균 정확도를 GRPO 대비 4.97포인트 향상시키는 등 여러 벤치마크와 모델 규모에서 장기 과제 성능을 개선한다.