AI 에이전트, 게임 경쟁으로 전략 학습하는 방식 평가
원제 Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition
추천 44댓글 2
Key Point
모델 가중치를 고정하면서 게임을 통해 정책을 학습·개선하는 새로운 AI 학습 방식이 실제 게임 경쟁에서 어느 수준인지 보여주는 첫 대규모 평가로, 에이전트의 한계와 가능성을 함께 드러낸다.
핵심 요약
- 대전 게임에서 AI 에이전트가 모델 가중치는 고정한 채 게임 정책을 자동으로 개선하는 적대적 휴리스틱 학습(AHL) 패러다임을 제안했다.
- 12개 실제 대전 게임과 1,920개 보관된 인간 프로그램을 포함한 AAArena 벤치마크를 구축하고, 실제 게임 대회를 모델로 한 평가 프로토콜을 적용했다.
- 에이전트는 규칙을 해석하고 상대를 선택한 후 리플레이를 분석하며 경기와 평가 예산 내에서 최고 순위 달성을 목표로 게임 에이전트를 수정했다.
- Claude 3.5 Opus와 Claude Code 조합이 6개 금메달을 획득했으나, 평가된 어떤 구성도 나머지 6개 인간 리더보드를 1위로 만들지 못했다.
- 규칙 명세가 복잡한 게임일수록 성능이 약했으며, 상대 선택과 밀집된 피드백이 정책 개선을 지원했다.
- 에이전트는 자신의 경기 온-폴리시 리플레이뿐 아니라 다른 선수의 경기 오프-폴리시 리플레이에서도 학습했다.
- 연구는 대전 게임에서 휴리스틱 학습의 잠재성을 보여주되, 게임 이해, 전략 구현, 장기 정책 개발에서 지속적 과제가 있음을 지적했다.