다중 에이전트 협력을 위한 추상적 '마음 이론'을 잠재 공간에서 학습

핵심 요약

• 다중 에이전트 협력에서 정확한 마음 이론(Theory-of-Mind, ToM)을 형성하려면 여러 파트너 상태를 동시에 추론해야 하는데, LLM 에이전트의 텍스트 표현으로는 하나의 상태만 효과적으로 표현되는 문제가 있다.
• 이를 해결하기 위해 ToM2Vec을 제안했으며, 이는 고정된 예산의 연속 추론 토큰을 통해 풍부한 잠재 공간에서 추상적인 마음 이론을 학습한다.
• 학습 중에는 파트너의 실제 생각을 감독 신호로 사용하여 ToM 토큰이 이를 추상화하고 일치시키도록 훈련된다.
• 테스트 시간에 ToM 토큰은 각 에이전트가 생성하며, 그 에이전트의 생각과 행동에 조건을 부여하는 역할을 한다.
• Overcooked-AI, 다자간 협상, Decrypto, Hanabi, Collab Escape/Capture 등 협력·경쟁·혼합 동기 환경에서 평가한 결과 기본 모델과 다양한 베이스라인보다 일관되게 성능이 향상되었다.
• 텍스트로 표현된 추론은 성능을 떨어뜨렸으며, 잠재 추론이 중요함을 보여준다.
• 훈련 중 본적 없는 파트너 모델군(GPT-5.4 포함 독점 모델)에 대해서도 일반화되는 것을 확인했다.
• 분석 결과 ToM2Vec의 토큰은 과제별 정보가 아닌 진정한 마음 이론을 인코딩하고 있으며, 파트너의 신념·욕망·다음 행동에 대한 질문에 직접 답하는 능력을 향상시킨다.