코딩 AI가 게임을 만들 수 있을까?
원제 SWE-Game: Can Coding Agents Build the Games We Want?
추천 26댓글 2
Key Point
현재 AI 에이전트들이 실제 게임 개발이라는 복잡한 소프트웨어 엔지니어링 작업에서 어느 수준에 도달했는지 구체적인 성능 데이터로 보여줍니다.
핵심 요약
- AI 에이전트의 게임 개발 능력을 평가하는 벤치마크 SWE-Game을 공개했다.
- 2D·3D 게임 13개 카테고리에서 41개의 실행 가능한 Godot 레퍼런스 게임으로부터 247개 과제를 구성했다.
- 과제는 간단한 설명으로부터 구현, 게임 디자인 문서 기반 개발, 기본 구조 완성, 83개의 결함 수정, Godot-to-Unity 포팅 등 5가지 유형을 포함한다.
- 엔진 상태 검증, 레퍼런스 입력 재생, AI가 작성한 기능 시연을 조합하여 게임 메커니즘의 정확성과 플레이 가능성을 평가한다.
- 6개 모델 중 Claude 3.5 Opus가 5가지 과제 모두에서 최고 점수를 얻었으나, 게임 개발 3가지 과제에서 최고 점수가 100점 중 60점 미만이고 간단한 설명 기반 개발은 50.38점에 그쳤다.
- 검토 결과 요구사항 누락과 게임 로직 오류가 주요 문제로 식별됐다.
- 100개 AI 생성 게임의 인간 표지 행동에 대해 실행 검증이 92.59% 균형잡힌 정확도를 달성했고, 비디오 기반 VLM 판정자는 78.41% 정확도를 보였다.
- 루브릭 기반 시각 평가는 200개 게임플레이 클립에서 인간 평가와 0.829의 Spearman 상관계수를 기록했다.