AI 에이전트의 컴퓨터 제어, 코드·접근성·UI 통합 인터페이스로 진화
Key Point
기존 화면 기반 접근에서 벗어나 프로그래밍·의미론·시각 정보를 통합한 컴퓨터 제어 방식이 에이전트의 효율성과 정확도를 근본적으로 개선할 수 있음을 보여준다.
핵심 요약
- 스크린샷과 마우스·키보드 조작에만 의존하는 기존 컴퓨터 이용 에이전트는 화면을 반복 해석하며 컴퓨터의 의미론적·프로그래밍적 능력을 활용하지 못하는 한계가 있다.
- 연구진은 Hybrid Computer Use(HCU)라는 통합 인터페이스를 제안했으며, 이는 코드·커맨드라인 도구를 통한 프로그래밍 상호작용, 접근성(AX) 도구를 통한 의미론적 상호작용, 그래픽 인터페이스를 통한 시각적 상호작용을 세 채널로 제공한다.
- HCU의 AX 도구는 컴팩트한 관찰값을 반환하고 일괄 처리 방식으로 동작하며 AX diff 형식의 피드백을 제공해 모델의 왕복 횟수를 줄인다.