AI 시각 에이전트를 위한 게임 플레이 데이터셋 자동 생성 프레임워크
Key Point
시각 에이전트의 복잡한 작업 학습을 위해 대규모 검증된 게임 데이터를 자동으로 생성하는 기법으로, AI 모델의 실제 환경 적응 능력 개발에 직결됩니다.
핵심 요약
- 시각 에이전트 훈련을 위해 게임 환경과 플레이어를 함께 개발하는 Game2Player 프레임워크를 제안했습니다.
- Builder 에이전트가 웹 게임을 수정하고 내부 상태를 노출한 뒤 상태 기반 진행도 측정과 성공 조건을 정의합니다.
- Coding Player와 VLM Player가 작업을 시도하고 문제를 Builder에 보고하면서 플레이가 환경 검증과 훈련 데이터 수집을 동시에 수행합니다.