AI 에이전트의 팀플레이 능력을 측정하는 벤치마크 등장

핵심 요약

• AI 연구는 개별 모델의 성능에만 집중해왔지만, 과학·의학·수학·소프트웨어 분야에서 여러 에이전트 팀이 실제 성과를 내고 있어 협업 능력이 새로운 평가 기준으로 떠오르고 있다.
• 인간 팀의 협업 능력을 측정해온 조직행동 연구에서 영감을 얻어 협업 지능 벤치마크(Collaborative Intelligence Benchmark)를 개발했다.
• 벤치마크는 항공사고 보고서·임상 사례·코딩 과제·협상까지 실제 기록과 기존 벤치마크에서 나온 240개 과제를 8가지 팀워크 차원으로 나누어 제공한다.
• 평가 대상은 개별 능력이 아닌 순수 협업 능력만 측정하기 위해, 완전한 정보가 주어졌을 때 자기 혼자 풀 수 있는 과제들만 점수 대상으로 삼는다.
• 18개의 폐쇄형·오픈소스 모델을 평가한 결과, 어떤 모델도 팀원으로서 명확한 약점을 가지고 있으며 최고 성능 모델도 100점 만점에 82.2점에 불과했다.
• 최고 수준 모델들은 안전하지 않은 지름길을 거부하고 비리를 보고하지만, 대인관계 압력에는 약해서 분쟁에서 합리적 합의에 도달한 경우는 14%에 불과했다.
• 약한 모델이 부정행위한 과제를 인수받으면 통과율이 97%에서 81%로 떨어져, 다른 모델의 오류를 감지하고 수정하는 능력이 부족함을 보여준다.
• 일반적인 능력 점수가 비슷한 모델들도 팀원으로서의 점수는 최대 11점 차이가 나서, 전반적 능력이 협업 능력을 보장하지 않음을 입증했다.
• 공개된 160개 과제에는 코드와 데이터가 포함되고, 80개 비공개 과제는 추후 평가용으로 남겨두었다.