여러 세션 걸친 강화학습 에이전트 최적화 방법 제안
원제 Mosaic: Multi-Session Agentic Reinforcement Learning
추천 54댓글 2
Key Point
LLM 에이전트가 실제로 여러 번의 상호작용 세션으로 나뉠 때 학습 방식을 바꿔야 하는 실질적 문제를 해결하는 방법을 제시했다.
핵심 요약
- 기존 에이전트 강화학습은 단일 세션 궤적을 가정했으나, 컨텍스트 압축과 서브에이전트 분기 같은 기법은 여러 세션에 걸친 궤적을 생성해 불일치가 발생한다.
- 다중세션 에이전트 강화학습(Multi-Session Agentic RL) 설정을 제안해 임의 개수의 세션을 하나의 궤적 내에서 지원한다.
- 기존 방식은 궤적 수준 이점을 모든 세션에 일괄 분배하지만, 각 세션의 기여도를 구분하지 못하고 세션 할당을 지도하지 못한다.
- Mosaic 방법은 비평가 없는 계층적 최적화로 궤적 수준에서는 세션 사용 신호를 이점 추정에 반영하고, 세션 수준에서는 추정된 한계 기여도에 따라 각 세션의 이점을 형성한다.
- Qwen3.5-4B 모델로 BrowseComp에서 실험한 결과 Mosaic은 컨텍스트 압축과 서브에이전트 분기 시나리오 모두에서 기존 방식보다 성능이 우수하면서 평균적으로 더 적은 세션을 사용한다.
- 추가 분석에서 세션 효용성과 할당에서 개선을 달성했으며, 이를 향후 다중세션 에이전트 RL 발전의 유망한 과제로 제시한다.