다중 에이전트 팀에서 어떤 스킬을 개선할지 판단하는 GRSE 알고리즘
원제 Which Agent's Skill Should Change? Group-Relative Credit Assignment for Evolving Multi-Agent Teams
추천 15댓글 1
Key Point
멀티 에이전트 시스템에서 실제로 성능을 올린 스킬을 정확히 찾아내는 것이 학습 효율을 크게 좌우하기 때문에, 기존 방법의 신용 할당 문제를 해결하는 GRSE의 접근이 의미 있다.
핵심 요약
- 협력하는 언어 모델 에이전트는 재사용 가능한 스킬을 수정해 가중치 업데이트 없이 개선할 수 있으나, 공유 팀 보상을 책임 있는 에이전트와 스킬로 추적해야만 한다.
- 기존 방법은 각 실행 경로에 나타난 스킬을 신용 할당하지만, 나타남이 책임은 아니므로: 성공한 실행에서 활성화된 해로운 스킬도 긍정적 신용을 받는다.
- GRSE(Group-Relative Skill Evolution)는 비교를 통해 행동 신용을 할당하며, GRPO에서 영감을 받아 같은 스킬 라이브러리 하에서 각 질문을 여러 번 실행하고 실행들을 대조해 에이전트-스킬 쌍을 신용하며 실패를 구조화된 진단한다.
- HotpotQA와 LoCoMo에서 두 개의 공개 가중치 에이전트로 테스트한 결과, GRSE는 가장 유사한 선행 방법인 MASkills를 HotpotQA와 대부분의 LoCoMo 범주에서 능가했으며, 다중 홉 질문에서 가장 큰 향상을 보였다(+6.7 및 +3.2 F1).
- GRSE의 성과는 증거 없이 주어진 답변보다는 더 나은 근거 있는 검색에서 비롯되었으며, 학습된 스킬은 다중 홉 작업 간에 전이된다.
- GRSE는 손상된 라이브러리에 강건하며, 심어진 해로운 스킬에서 시작했을 때 모든 심어진 스킬에 올바른 부호로 신용을 할당하고 깨끗한 라이브러리의 성능을 회복했다(+6.3점), 반면 MASkills는 두 가지를 잘못 귀속시키고 시작점 이하로 떨어진다.