에이전트 군집이 스스로 역할 분담을 학습한다

핵심 요약

• 기존 다중 에이전트 시스템은 고정된 조율 구조 내에서 학습하면서 개별 능력과 집단 행동의 조직화를 분리하는 문제가 있었다.
• 연구팀이 시장 기반 사후훈련(MPT) 프레임워크를 제안했으며, 이는 분산형 에이전트 군집에서 행동 정책과 자기-조율을 동시에 학습한다.
• 에이전트들은 입찰을 통해 참여 의사를 표현하고, 이것이 누가 행동하는지와 집단 결과가 어떻게 개별 학습 신호를 제공하는지를 결정한다.
• 중앙 조율 에이전트 없이 개별 능력과 참여 패턴이 함께 적응할 수 있다.
• 물리 제작, 로봇 네비게이션, 딥 리서치 작업에서 단일체 사후훈련보다 성능 향상을 보였으며, 에이전트 참여가 학습과 함께 진화함을 확인했다.
• 동일한 사전훈련 정책으로도 학습된 자기-조율이 다른 조율 전략을 능가한다.
• 행동과 입찰 학습이 모두 이득이 되며, 학습된 입찰이 더 효과적인 행동 훈련 신호를 제공한다.
• 원래 학습 목표를 넘어서 관련 작업에 더 빠르게 적응하고, 추론 시 큰 규모 군집에서 더 나은 성능을 달성한다.
• 더 큰 규모의 군집에서도 에이전트 장애 시 더 작은 성능 손실을 입으며, 학습된 자기-조율이 분산형 에이전트 군집에서 재사용성, 확장성, 견고성을 지원한다.