에이전트가 휴대폰을 제어하는 Phone Harness

핵심 요약

• Claude Code나 Codex 같은 에이전트가 실제 휴대폰을 원격 제어할 수 있는 오픈소스 도구로, iPhone과 Android를 모두 지원한다.
• iPhone은 Mac의 iPhone 미러링 윈도우를 통해, Android는 adb(Android Debug Bridge)로 macOS·Linux·Windows에서 제어 가능하며, 폰에 아무것도 설치할 필요가 없다.
• 에이전트는 화면을 보고 탭·스와이프·타이핑으로 조작할 수 있으며, Apple의 Vision 프레임워크가 OCR을 수행해 텍스트를 인식한다.
• 설정은 간단하게 프롬프트를 에이전트에 붙여넣으면, 자동으로 iPhone 미러링 페어링이나 Android 개발자 옵션 활성화 등을 안내한다.
• 자신의 폰이 없거나 테스트하고 싶으면 Phone Harness Cloud에서 호스팅된 iPhone이나 Android를 렌트할 수 있으며, 처음 100분은 무료다.
• 에이전트가 화면을 인식해 터치 좌표를 찾고, 클라우드 iPhone은 HTTPS로 원격 조작하며, 클라우드 Android는 adb를 통해 기존 도우미 함수를 그대로 사용한다.
• iPhone 미러링 해제 시 작업이 멈추고, PIN으로 잠긴 Android는 사용자가 직접 해제해야 하며, OCR은 텍스트만 인식하고 아이콘은 인식하지 못한다.
• 멀티터치·카메라·Face ID 플로우를 지원하지 않으며, DRM 비디오는 검은색으로 표시되고, 폰 연결은 항상 사용자가 수동으로 해야 한다.