컴퓨터 제어 AI, 최종 결과만 아니라 '과정'으로 평가한다
원제 OSWorld-Pro: Process-based Evaluation for Computer Use Agents
추천 22댓글 2
Key Point
컴퓨터 제어 AI의 성능을 정확히 측정하려면 최종 결과뿐 아니라 각 단계의 실패 원인을 파악해야 하는데, 이 벤치마크가 그 해법을 제시한다.
핵심 요약
- 기존 OSWorld는 컴퓨터 제어 에이전트(CUA)가 생성한 최종 결과만 평가하는 방식으로, 어느 단계에서 어떤 방식으로 실패했는지 파악하기 어려웠다.
- 새로운 평가 벤치마크 OSWorld-Pro는 300개 이상의 작업에 포함된 2800개 이상의 세부 목표(서브골)를 설정하고, 6만 7000건 이상의 인간 주석을 수집했다.
- LLM 판사를 활용해 각 서브골의 완료 여부를 평가함으로써 에이전트가 순차적으로 연결된 목표들을 단계별로 어떻게 수행하는지 추적한다.
- Claude Opus 5 같은 최고 성능 모델도 OSWorld-Pro에서는 75.7% 정확도에 그쳐, 기존 OSWorld의 83.4%보다 훨씬 낮은 성능을 보였다.
- 분석 결과 에이전트들은 서브골과 무관한 행동을 수행하거나 클릭 기반 입력에서 실패하는 등 구체적인 문제 패턴을 드러냈으며, 이는 향후 개선 방향을 제시한다.