월드 모델, 게임 규칙을 몇 번 봐야 학습할까
원제 How Many Exposures Does a World Model Need? Learning Unseen Game Mechanics at Test Time
추천 15댓글 3
Key Point
시각 기반 게임에서 월드 모델이 처음 보는 규칙을 얼마나 빨리 습득하는지 보여주며, 테스트 시점 적응의 효과를 정량적으로 입증했다.
핵심 요약
- 월드 모델이 낯선 환경의 메커니즘을 학습하려면 몇 번의 상호작용(노출)이 필요한지 연구했다.
- ARC-AGI-3 벤치마크의 20개 게임에서 69개 반복 메커니즘을 레이블링한 MechEval 평가 도구를 만들었고, 각 메커니즘이 환경을 바꾸는 셀에 대해 예측을 채점한다.
- WARC는 3,500만 파라미터 비전 트랜스포머로, 다른 게임에 사전학습한 후 매 전이 후 모든 파라미터를 업데이트한다.
- 미학습 게임에서 WARC는 메커니즘의 85%를 80% 이상 정확도로 예측했고, 이 중 절반은 약 80번의 노출(게임 1회 플레이) 안에 도달했으며, 업데이트 없으면 14%만 가능했다.
- 공개 게임에서 WARC를 고정 그래프 탐색기와 결합한 WARC-Agent는 테스트 시점 학습을 통해 탐색기의 효율 점수를 0.15에서 0.46으로 3배 향상시켰다.
- 캐글 리더보드 숨겨진 게임에서는 0.20의 점수를 기록했다.