AI 팀의 안정성, 개별 에이전트보다 떨어진다
원제 Aligning AI Teams
추천 11댓글 2
Key Point
팀 기반 AI 시스템이 개별 에이전트의 안전 훈련을 보장하지 못하는 구조적 문제와 그 해결책을 제시해 실제 멀티에이전트 배포 시 반드시 고려해야 할 설계 원칙을 명확히 한다.
핵심 요약
- 개별 LLM 에이전트에 대한 정렬 훈련이 다중 에이전트 환경으로 전이되지 못하는 메커니즘을 조사했다.
- 의료 분류, 뉴스 추천, 컨설팅 제안 생성 등 12개 작업을 평가했고, 더 강력한 모델일수록 단일 대 팀의 안정성 격차가 일관된 추세를 보이지 않음을 발견했다.
- 상호 비평, 그룹 채팅 등 자연스러운 개입 방식들은 팀을 다시 단일 에이전트 정렬 행동으로 복원하지 못했다.
- 책임 분산이 안정성 격차의 주요 원인으로, 팀 내 에이전트들이 시스템 차원의 안전 실패를 사전에 점검하지 않고 문제 발생 시 책임을 외면·정당화·전가한다.
- 안전 담당 에이전트를 지정하고 조정 에이전트가 안전 명세서를 발행하는 방식이 단일 에이전트 정렬을 효과적으로 복원했다.
- 다중 에이전트 LLM 조율 및 실험 프레임워크인 magelab을 오픈소스로 공개했다.