컴퓨터 제어 AI, 실수 복구 능력 체계적으로 평가하기

핵심 요약

• 키보드·마우스로 디지털 업무를 자동화하는 컴퓨터 제어 AI 에이전트는 긴 작업 흐름에서 오류가 쌓이고 의도하지 않은 부작용이 생기면서 실수에서 복구하는 능력이 중요해졌다.
• 기존 복구 방식은 한계가 있다: 소유권이 있는 시스템은 환경 초기화가 불가능하고, 긴 작업 흐름에서 액션 재실행은 비용이 너무 크며, API 기반 되돌리기는 웹 환경에만 적용되므로 모델 기반 복구는 거의 연구되지 않았다.
• 연구팀은 ReTrace라는 평가 프레임워크를 제시해 컴퓨터 제어 에이전트의 복구 동작을 체계적으로 연구한다.
• 프레임워크는 '전환 일관성 복구'라는 기준을 정의한다: 복구된 상태와 목표 상태에서 실행한 이후 액션들이 동일한 결과를 내야 한다.
• 통제된 오류 주입 후 목표 지향 액션 재실행으로 이 기준을 적용한다.
• 연구 결과 완벽한 복구가 모델의 잠재적 작업 완료 능력을 끌어올릴 수 있지만, 현재 컴퓨터 제어 에이전트들은 자신의 잠재적 복구 능력을 제대로 활용하지 못하고 있다.
• 정확한 모델 기반 복구는 최종 성능을 향상시킨다.
• 연구팀은 안정적인 컴퓨터 제어 에이전트 개발을 위해 복구 능력이 근본적인 기능임을 입증했다.