게임 세계에서 스케일링: 구체화 에이전트의 지속적 사전학습

핵심 요약

• 연구팀이 가상 세계에서 데이터 규모, 다양성, 모델 크기가 구체화 에이전트 학습에 미치는 영향을 조사했다.
• 0.8B~27B 모델 4종, 50~1,600시간 데이터 6개 규모, Minecraft 단독부터 다중 게임 혼합 데이터 5가지 조합으로 총 120가지 설정을 학습했다.
• 결과적으로 더 많은 데이터는 학습 데이터 포함 게임 성능을 높이고, 다양성은 유사 게임으로의 전이는 개선하나 거리가 먼 게임으로의 일반화는 제한적이었다.
• 모델 크기가 클수록 데이터 효율은 높지만, 단일 게임 학습 시 먼 거리 게임으로의 일반화 성능은 오히려 악화되었다.
• 학습 초기의 '인터페이스 단계'에서는 광범위한 크로스월드 성능 개선이 나타났고, 이후 '게임 단계'에서는 이득이 학습 데이터 포함 및 유사 게임에만 집중되었다.
• 데이터 규모, 다양성, 모델 크기와 검증 손실의 관계를 설명하는 경험적 스케일링 법칙을 도출했다.
• 개발 모델들은 Minecraft 전문 모델과 최신 3D 게임 모델과 경쟁 수준의 성능을 보였고, 실시간 게임 환경에서 가장 우수한 성능을 발휘했다.
• 그러나 모방 학습의 한계와 거리가 먼 게임들에서의 지속적 격차는 일반화 에이전트 개발에 지속적 사전학습을 넘어 더 풍부한 학습 단계가 필요함을 시사한다.