전문가와 AI 에이전트의 협업, 새로운 벤치마크로 측정한다

핵심 요약

• 인간-AI 협업의 현실을 측정하기 위해 Kolab 벤치마크를 제안합니다. 50명의 전문가(40개 직종)가 장시간 작업을 할 때 AI 에이전트와 어떻게 협업하는지를 115시간 이상의 스크린 녹화로 기록했습니다.
• 기존 자동화 벤치마크는 에이전트가 한 번에 작업을 완료하는 능력에 집중하지만, 실제 워크플로우에서 전문가는 계획 수정 등 지속적인 상호작용을 더 중요하게 봅니다.
• 전문 업무 워크플로우는 여러 상호의존 단계로 이루어져 있어, 협업 에이전트에게 실제로 필요한 두 가지 능력을 도출했습니다: 전문가가 자신의 제안을 채택·수정·거절할지 예측하기, 그리고 지속적인 피드백 없이 협업 품질을 평가하기입니다.
• Kolab은 협업 에이전트가 전문가의 판단을 얼마나 예측하는지, 협업 만족도와 산출물 품질을 얼마나 정확히 평가하는지를 측정합니다.
• GPT-4o, Claude 등 최신 모델들도 전문가와의 협업을 과대평가하며, 높은 품질과 낮은 품질의 협업을 구별하지 못합니다.
• 더 긴 워크플로우 컨텍스트를 제공해도 예측 성능이 일관되게 개선되지 않습니다.
• 현재 최고 성능의 에이전트도 장기 협업을 이해하지 못하므로, Kolab은 실제 전문 업무에 기반한 인간-에이전트 협업 연구의 중요한 데이터셋이 될 수 있습니다.