Hugging Face 논문AI · 머신러닝

AI 에이전트의 컴퓨터 제어, 코드·접근성·UI 통합 인터페이스로 진화

원제 Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents

추천 16댓글 3Haoqing Wang, Xiaoyi Zhang, Sicheng Fan 외
Key Point

기존 화면 기반 접근에서 벗어나 프로그래밍·의미론·시각 정보를 통합한 컴퓨터 제어 방식이 에이전트의 효율성과 정확도를 근본적으로 개선할 수 있음을 보여준다.

핵심 요약

  • 스크린샷과 마우스·키보드 조작에만 의존하는 기존 컴퓨터 이용 에이전트는 화면을 반복 해석하며 컴퓨터의 의미론적·프로그래밍적 능력을 활용하지 못하는 한계가 있다.
  • 연구진은 Hybrid Computer Use(HCU)라는 통합 인터페이스를 제안했으며, 이는 코드·커맨드라인 도구를 통한 프로그래밍 상호작용, 접근성(AX) 도구를 통한 의미론적 상호작용, 그래픽 인터페이스를 통한 시각적 상호작용을 세 채널로 제공한다.
  • HCU의 AX 도구는 컴팩트한 관찰값을 반환하고 일괄 처리 방식으로 동작하며 AX diff 형식의 피드백을 제공해 모델의 왕복 횟수를 줄인다.
  • 채널 전환 시 상태 불일치 문제를 방지하고, 에이전트가 어느 채널을 선택·조합할지 판단하도록 돕는 보조 스킬을 포함한다.
  • OSWorld 2.0 벤치마크에서 HCU는 비교 대상 시스템 중 가장 높은 Partial 및 Binary 점수를 달성했다.
  • 평가 대상 모든 LLM이 HCU 환경에서 성능이 향상됐으며, 각 모델이 세 채널을 서로 다른 방식으로 배분해 사용하면서도 효율성과 작업 성공률 모두에서 기존 기준 대비 우수했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗