CLI 에이전트의 인간협력 평가 기준, REALCLI 제시
원제 RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
추천 17댓글 2
Key Point
CLI 에이전트의 협력 능력을 처음으로 체계적으로 평가하는 기준이 나왔으며, 최상급 모델도 37%대 성능에 불과해 실무 배포 전 해결해야 할 과제가 명확해졌다.
핵심 요약
- 명령줄 에이전트가 복잡한 작업을 수행할 때 작업 완성도와 인간과의 협력 품질을 함께 평가하는 REALCLI 벤치마크를 제시했다.
- 기존 벤치마크는 사용자 지시가 고정되거나 결과 평가만 수행했으나, REALCLI는 실시간 협력의 질을 포함한 쌍 비교 평가를 제공한다.
- 협력 품질을 5가지 차원에서 22개 세부 항목과 51개 상호작용 시나리오로 측정하는 프레임워크를 구축했다.
- REALCLI-EXEC는 사전에 모든 정보를 제시하고, REALCLI-COLLAB는 스크립트된 사용자가 점진적으로 정보와 수정사항을 전달하는 방식이다.
- 최고 성능 에이전트도 평균 49.2% 점수에 불과했고, 협력 품질 합산점(J_collab)으로는 37.6%에 그쳤다.
- 모델들이 제어 가능성, 신뢰도 보정, 안전 경계 관리에서 특히 취약함을 드러냈다.