긴 작업의 신용배분 문제를 푸는 Self-Credit 강화학습
원제 Self-Credit: Credit Assignment for Long-Horizon Agentic RL via Intra-group Rescaling
추천 10댓글 2
Key Point
희소 보상 환경에서 LLM 에이전트가 어떤 액션이 성공을 이끌었는지 파악하기 어려운 문제를 모델의 자체 추론과 그룹 비교로 해결하는 구체적 방법을 제시한다.
핵심 요약
- LLM 에이전트는 보통 강화학습으로 훈련되지만, 희소한 보상 신호로 인해 장기 작업에서 신용배분이 어렵다.
- Self-Credit은 모델이 생성한 요약에 핵심 증거를 담은 이전 턴을 인용하게 함으로써 자동 신용배분 신호를 만든다.
- 그룹 내 재스케일링을 통해 같은 프롬프트에 대해 성공한 롤아웃과 실패한 롤아웃 간의 인용 액션을 비교해 신용을 정제한다.
- 이 방식은 부당한 신용을 제거하고 핵심 액션에 할당된 신용을 강화한다.
- 어드밴티지 재가중치는 정제된 신용 가중치로 인용된 턴의 어드밴티지를 업데이트한다.
- BrowseComp-Plus에서 Qwen 3 8B와 32B 모두 기본 모델 대비 각각 37.0점, 36.2점 개선, 기존 강화학습 베이스라인보다 각각 8.5점, 5.6점 우수.
- GAIA에서 가장 강한 베이스라인보다 4.9점, xBench-DeepSearch에서 4.7점 개선.
- 분석 결과 자동 생성 신용은 핵심 액션 선택을 위한 유용한 신호를 제공하며, 특히 실패 롤아웃에 대한 재스케일링이 모델 규모 전체에서 중요하다.