화면 조작과 코딩을 함께 하는 AI 에이전트 벤치마크 공개
원제 RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents
추천 75댓글 3
Key Point
코딩과 UI 조작을 함께 해야 하는 현실의 개발 업무를 AI가 수행할 때 남은 간극을 구체적으로 측정하고, 이 능력을 학습시킬 수 있는 새로운 방법론을 제시한다.
핵심 요약
- RecreationWorld는 GUI 조작과 소프트웨어 개발을 모두 수행하는 하이브리드 AI 에이전트 학습 및 평가용 프레임워크다.
- Ubuntu, macOS, Windows, Android, 웹 5개 플랫폼에서 실행되는 애플리케이션을 보고 똑같이 구현하도록 학습시키는 방식으로, 참고용 앱을 오라클로 삼아 실행 기반의 보상을 제공한다.
- 공개 애플리케이션으로 생성한 궤적 데이터로 학습한 모델은 코딩과 하이브리드 컴퓨터 작업 벤치마크 5개에서 성능이 개선되었고 출력 검증 빈도도 높아졌다.
- 250개 다양한 작업으로 구성된 RecreationBench 평가 세트에서 프로그래매틱, 시각적 단정문으로 다층 상호작용을 검증하며, GPT-6 Astra는 전체 58.1%의 성능을 보이나 프로그래매틱 테스트를 완전히 통과한 작업은 2.8%에 불과하다.
- 에이전트는 인터페이스 구조는 잘 재현하지만 사용자 상호작용과 계산 결과 구현은 부족하며, 생성된 애플리케이션이 원본보다 작고 단순한 구조를 보인다.