컴퓨터 사용 AI, 사용자 맥락 읽지 못하면 성능 36% 떨어진다

핵심 요약

• 컴퓨터 사용 에이전트(CUA)는 고정된 작업 명세로 평가되지만, 실제 사용자는 요구사항을 생략하거나 제약을 추가하거나 결과 행동에 승인을 요구한다.
• PersonaCUABench는 44개 인물 페르소나를 활용해 같은 작업 74개를 다르게 해석하도록 다양한 방식으로 요청하는 벤치마크를 제시한다.
• 페르소나 에이전트가 사용자 역할을 해 지시문을 그 사용자의 말투로 다시 쓰고 질문에 답하며, CUA는 오직 대화만 보고 프로필이나 원본 지시문은 본다.
• 9개 백본 모델로 3,330번 실행한 결과 원본 요청 대비 평균 작업 완료율이 36% 하락했다.
• 점수 손실의 59.9%는 사용자가 요청한 것을 올바르게 수행했지만 틀린 경우이고, 11.2%는 사용자가 요청한 중단을 시스템이 실패로 평가한 경우다.
• 작업을 완전히 완료해도 원본 요청에서 84.1%인 최상 만족도가 페르소나 요청에서는 62.7%에 그친다.
• 컴퓨터 사용 에이전트는 작업 완료뿐 아니라 사용자가 표현한 요구사항과 제약을 충족하는지로도 평가해야 한다.