계층형 멀티에이전트 시스템, 온폴리시 증류로 학습 성능 향상
원제 MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation
추천 12댓글 2
Key Point
멀티에이전트 시스템의 계층적 학습 문제를 해결하는 새로운 방식으로, 간접 피드백만으로도 효과적인 공동 학습이 가능함을 보여준다.
핵심 요약
- 계층형 멀티에이전트 시스템에서 리더(Leader)가 태스크를 할당하고 서브에이전트들이 이를 수행할 때, 최종 답변만으로는 서브에이전트에 대한 직접적 피드백을 얻기 어렵다는 문제가 있다.
- MultiAgent-OPD는 온폴리시 증류(on-policy distillation)와 강화학습을 결합해 리더-서처-앤서 팀을 엔드투엔드로 공동 학습한다.
- 먼저 정답 정확성을 기준으로 서처-앤서 워크플로에서 교사 모델을 학습시킨다.
- 팀 학습 단계에서 고정된 교사 모델이 학생이 생성한 검색 및 요약 토큰을 채점해 서처에 로컬 과정 감독을 제공하고, 리더는 팀 성공에서, 앤서는 후보 정확성에서 학습한다.
- 7개 데이터셋에서 38.68%의 매크로 평균 정확도(@4)를 달성했으며, Prompted Critic보다 4.06 포인트, 학습된 캐스케이드 멀티에이전트 시스템(C-MAS + RL)보다 2.61 포인트 높다.
- 4번의 시도 내에서 더 많은 질문을 해결하는 능력도 입증했다.