컴퓨터 작업 에이전트, GUI와 CLI 결합으로 성능 대폭 향상
Key Point
GUI와 CLI를 선택적으로 조합하는 기법으로 컴퓨터 작업 에이전트의 성능이 14.8포인트 개선되어, 더 효율적이고 일반화된 자동화 도구 개발의 새로운 방향을 제시한다.
핵심 요약
- 기존 컴퓨터 사용 에이전트(CUA)는 GUI에만 의존하거나 특정 애플리케이션 API로 보완하는데, 전자는 비효율적이고 오류가 많고 후자는 확장성이 낮다.
- 연구팀은 GUI의 일반성과 셸 명령어의 효율성을 결합한 하이브리드 접근 방식을 제시했다.
- 핵심 문제는 현재 모델들이 작업 실행 중 CLI를 언제·어떻게 사용할지 모른다는 점이다.