AI 시각 에이전트를 위한 게임 플레이 데이터셋 자동 생성 프레임워크
원제 Game2Player: Scaling Gameplay Experience for Visual Agents through Environment-Player Co-Development
추천 29댓글 4
Key Point
시각 에이전트의 복잡한 작업 학습을 위해 대규모 검증된 게임 데이터를 자동으로 생성하는 기법으로, AI 모델의 실제 환경 적응 능력 개발에 직결됩니다.
핵심 요약
- 시각 에이전트 훈련을 위해 게임 환경과 플레이어를 함께 개발하는 Game2Player 프레임워크를 제안했습니다.
- Builder 에이전트가 웹 게임을 수정하고 내부 상태를 노출한 뒤 상태 기반 진행도 측정과 성공 조건을 정의합니다.
- Coding Player와 VLM Player가 작업을 시도하고 문제를 Builder에 보고하면서 플레이가 환경 검증과 훈련 데이터 수집을 동시에 수행합니다.
- 이 루프를 통해 검증된 568개의 웹 게임, 3,436개의 작업, 307시간(15.7K 궤적)의 게임플레이 데이터를 수집했습니다.
- 50개 게임은 PlayerBench 벤치마크로 보류했으며, 나머지 데이터로 VLM 에이전트를 진행도 가중 감독학습으로 훈련했습니다.
- Game2Player-9B 모델은 PlayerBench에서 14.3%에서 31.2%로, GameWorld 외부 벤치마크에서 30.0%에서 53.1%로 성공률을 향상시켰습니다.
- 시각 에이전트가 기존 게임 환경을 활용해 게임플레이 경험을 자동으로 확장할 수 있는 방법론을 제시했습니다.