Rust로 만든 AI 에이전트용 데스크톱 제어 도구 공개

핵심 요약

• Vercel Labs가 agent-desktop을 공개했으며, AI 에이전트가 데스크톱 애플리케이션을 안정적으로 제어할 수 있도록 설계되었다.
• Rust로 구축됐으며 OS 접근성 트리(accessibility tree)를 통해 앱의 실제 UI 구조를 읽고, 픽셀 분석 대신 안정적인 요소 참조(ref)로 동작한다.
• 스냅샷 명령으로 JSON 형식의 UI 상태를 얻고, 에이전트가 참조를 통해 액션을 실행한 후 다시 스냅샷을 취해 상태 변화를 확인한다.
• macOS는 접근성 권한, Windows는 터미널 무결성 레벨의 앱만 지원, Linux는 AT-SPI2 필요하다.
• 60개 명령을 포함하며, 클릭·입력·키보드 조작, 앱 실행·종료, 클립보드 제어, 알림 관리, 세션 추적 등을 지원한다.
• macOS·Windows·Linux 모두 지원하며 x64와 ARM64 아키텍처에 대한 네이티브 바이너리를 제공한다.
• 참조는 각 스냅샷에만 유효하며, UI 변화 시 `STALE_REF` 또는 `AMBIGUOUS_TARGET` 에러를 반환하므로 새로운 스냅샷을 취해야 한다.
• 헤드리스 모드가 기본값으로, 접근성 API를 통해 포인터 이동이나 포커스 변경 없이 동작하며, `--headed` 플래그로 물리적 입력을 허용할 수 있다.
• C FFI 라이브러리도 함께 배포되어 CLI 대신 인프로세스 호출이 가능하다.
• 프라이빗 데스크톱 콘텐츠 보호를 위해 스냅샷·클립보드·스크린샷·명령 출력을 공개 로그에 올리지 않도록 주의해야 한다.
• Apache-2.0 라이선스이며 npm을 통해 설치하거나 GitHub Releases에서 네이티브 아카이브를 다운로드할 수 있다.