마이크로소프트, 화면 기록으로 AI 자동화 스킬 만드는 도구 공개

핵심 요약

• 마이크로소프트가 Skill Recorder를 공개했다. 이는 화면 작업을 녹화한 뒤 GitHub Copilot SDK로 분석해 AI 에이전트가 재실행할 수 있는 스킬이나 자동화로 변환하는 데스크톱 앱이다.
• 앱은 마우스 클릭, 창 전환, 방문 페이지, 터미널 명령, 음성 해설을 녹화한다. 분석 시 녹화 데이터를 GitHub 클라우드로 전송해 Copilot이 작업 의도와 순서대로 정렬한 단계 목록으로 재구성한다.
• 생성된 스킬은 SKILL.md 파일 형태로, 에이전트가 UI 클릭 재현 대신 gh CLI나 web_fetch 같은 네이티브 도구를 선호하도록 일반화된다. 한 번 실행한 작업으로 다양한 유사 작업을 처리할 수 있다.
• 스킬은 수동 실행 스킬 또는 일정·트리거 기반 자동화로 생성할 수 있다. 분석 전 스킬 내용을 미리보기할 수 있으며, 작업 계획을 수정할 수 있다.
• 설치는 GitHub 최신 릴리스 페이지에서 한 줄 명령어를 복사해 PowerShell(Windows)이나 터미널(macOS/Ubuntu)에 붙여 실행한다. 별도 Git이나 Node.js 설치 없이 앱에 포함된 환경으로 빌드된다.
• macOS는 주요 대상이고, Windows 11(x64, ARM64)도 지원한다. 첫 분석 시 GitHub Copilot 로그인이 필요하며, Copilot CLI 1.0.78이 번들로 포함되어 웹 OAuth 흐름을 지원한다.
• 녹화 중 데이터는 모두 로컬에 저장되며, Analyze를 선택해야만 이벤트 타임라인, 화면 이미지, 음성 텍스트, 터미널 출력이 GitHub 클라우드로 전송된다.
• 캡처 항목은 활성 앱·창 전환, 브라우저 URL(macOS), 저주파 화면 스냅샷, 복사한 텍스트 미리보기, 선택적 음성 해설(Whisper 모델로 온디바이스 변환, 99개 언어 지원), 터미널 명령·출력을 포함한다.
• 암호, 토큰, API 키, 자격증명 등 비밀 정보는 녹화 중 입력하거나 나타내지 않도록 주의해야 한다. 터미널 보호 활성화 시 명령과 전체 로컬 기록이 클라우드 전송 전 온디바이스 스캔을 받는다.
• TypeScript로 작성되었으며, 개발자는 Node.js 24가 필요하다. npm run dev로 Vite와 Electron 앱을 핫 리로드로 실행할 수 있다.
• Copilot 기술자(describer)와 빌더는 픽스처 기반 평가 스위트를 갖춘다. MIT 라이선스이며, 마이크로소프트 오픈소스 행동 강령을 따른다.