LLM 연구 에이전트가 만든 하스스톤 AI, 최상위 플레이어 능가
원제 Build, Don't Play: Self-Improving LLM Research Agents Develop a Hearthstone Battlegrounds AI That Rivals Top Players
추천 28댓글 2
Key Point
LLM 에이전트가 자동 개선 루프를 통해 최첨단 게임 AI를 개발하고 인간 최강자를 능가한 사례로, 에이전트 연구의 현실적 가능성과 한계를 보여줍니다.
핵심 요약
- LLM 연구 에이전트들로 구성된 자기개선 시스템 AutoTavern이 8인 자동배틀게임 하스스톤 배틀그라운드의 완전한 시뮬레이터를 20일 만에 개발했다.
- AutoTavern은 특화된 LLM 에이전트들이 타입화된 연구 메모리를 공유하고, 모든 주장이 검증 단계를 거치며, 실제 게임을 통해 피드백 루프가 닫혀 있어 시뮬레이터, 상대 AI, 정책, 연구 과정까지 동시에 개선된다.
- TavernAgent는 PPO로 학습되어 23개 버전을 거쳤으며, 실제 게임 래더에서 등급이 6,000에서 약 15,000으로 올랐다.
- 공개 리더보드 기준 최근 20경기 평균 순위는 1.60이고 80%가 1등으로, 서버 상위 10위 플레이어(평균 순위 2.34, 1등 확률 59%)를 모든 통계에서 능가한다.
- 960개 과제를 40개 시나리오로 구성한 TavernBench에서 TavernAgent는 91%의 정답률을 기록했으며, 최신 LLM은 최대 63%에 불과하다.
- 의사결정 속도는 TavernAgent가 0.03초이고 LLM은 최대 26초 필요하며, 게임 턴(1초 제한)에서 TavernAgent는 90%를 유지하는 반면 LLM은 최대 26%만 유지한다.
- 연구원들이 구축한 시스템이 LLM 에이전트들이 직접 플레이하는 것보다 훨씬 우수하며, TavernBench와 TavernGym은 오픈소스로 공개될 예정이다.