게임 AI 학습을 위한 합성 경험 기반 강화학습 프레임워크 Player-1
원제 Player-1: Learning to Play from Synthetic Experience
추천 283댓글 2
Key Point
게임 AI의 성능 개선이 실제 환경 데모 없이 합성 환경만으로 달성 가능함을 보여줌으로써, 대규모 데이터 수집 없이 일반적 디지털 제어 에이전트를 학습할 수 있는 길을 열었습니다.
핵심 요약
- 화면 해석과 키보드·마우스 조작을 수행하는 컴퓨터 사용 에이전트는 발전했으나, 시각적으로 풍부하고 복잡한 게임 환경은 여전히 도전 과제로 남아 있습니다.
- 기존 게임 에이전트 학습 파이프라인은 제한된 동적 게임 상태 커버리지의 대규모 데모에 의존하며, 상호작용 학습을 위한 확장 가능한 환경 구축이 어렵습니다.
- Player-1은 합성 경험을 통해 데모 이상의 게임 제어를 학습하는 포스트 트레이닝 프레임워크로, 상대적 포인터 모션, 지속적 입력, 복합 액션으로 컴퓨터 사용 액션 공간을 확장합니다.
- 6,044개의 큐레이션된 게임플레이 궤적으로 컴퓨터 사용 모델을 미세 조정하여 지도 학습 초기화를 수행하며, 게임 전반의 제어 요구를 중심으로 설계한 16개의 2D·3D 합성 환경(Player-1-Gym)을 구축합니다.
- 프로그래밍으로 검증 가능한 보상과 무작위화된 관찰·제어 역학이 PPO 기반 다중 환경 강화 학습을 지원합니다.
- Player-1-9B와 Player-1-35B-A3B는 MineDojo-300에서 지도 학습 정책 대비 각각 27.8%, 17.7% 포인트 향상을 달성했으며, Player-1-9B는 38.33% 성공률로 최강 베이스라인의 12.63%를 크게 앞섭니다.
- ViZDoom-10과 GameWorld에서도 지도 학습 대비 추가 성능 향상을 보입니다.
- 광범위한 합성 환경 커버리지가 전이 학습을 개선하며, 강화 학습 과정에서 여러 키보드·마우스 입력을 결합하는 복합 액션의 사용이 증가합니다.
- 합성 경험에서의 학습이 지도 학습 초기화를 넘어 게임 제어를 크게 향상시키며, 강화 학습 훈련 스위트를 벗어난 환경으로도 성능 향상이 일반화됩니다.