LLM이 스타크래프트 봇 작성 대회, GPT-6 Astra 압승

핵심 요약

• StarSkirmish는 LLM이 1시간 내에 스타크래프트 브루드워용 프로토스 봇을 C++로 작성하는 벤치마크로, 작성된 봇을 인간이 작성한 경쟁용 봇과 평가한다.
• v0.2는 OpenAI, Anthropic, Google, Meta의 최신 모델을 각 회사의 공식 CLI 환경에서 1시간 실행해 승률로 평가하며, GPT-6 Astra가 평균 승률 기준 최고점을 기록했다.
• GPT-6 Astra를 제외한 상위권 모델들(GPT-6.1 Sol, Gemini 4 Argon, Claude Opus 5.5, Claude Fable 5.1)은 37~39점으로 거의 동점이다.
• 비용 대비 성능에서는 GPT-6.1 Sol이 GPT-6 Astra의 10분의 1 이하 비용으로 2위 점수를 달성해 최적의 가치를 제공한다.
• 가장 강한 인간 작성 봇(Stardust, PurpleWave, BananaBrain)을 상대로는 최고 모델인 GPT-6 Astra도 7% 승률에 불과해, 인간 봇이 여전히 큰 격차를 유지한다.
• 모델의 점수는 1시간 동안 가장 강한 7개 봇을 상대로 연습한 게임 수와 강한 상관관계(선형 적합선)를 보인다.
• GPT-6 Astra, GPT-6.1 Sol, Gemini 4 Argon은 처음부터 강한 봇을 상대로 연습했고, Muse Wonder Full과 Claude Haiku 5.5는 거의 하지 않았다.
• Gemini 4 Argon은 최고점과 최저점이 18점 차이로 다른 최신 모델(GPT-6 Astra 9점, Claude Opus 5.5 8점)보다 변동성이 크다.
• v0.2는 중립적 제3사 harness 대신 각 회사의 공식 CLI를 사용하고, v0.1의 1200자 제약 대신 약 250k 토큰 컨텍스트를 제공하며 컨텍스트 압축을 지원한다.
• Gemini 4 Argon은 지원하는 최고 reasoning effort인 'high'에서 실행되고, 다른 모델은 'max'에서 실행된다.
• StarSkirmish는 광범위하게 보도된 벤치마크들(Artificial Analysis Intelligence Index, Terminal-Bench 4.0)과 약하거나 역방향 상관관계(0.26 및 음수 값)를 보인다.
• 동일한 고정 명단을 사용해 LLM 봇 간 경기를 제거했으므로 새 모델을 추가 평가할 때 기존 모델을 재평가할 필요가 없으며, 시간이 지나도 난이도가 일정해 세대 간 비교가 직관적이다.
• Vals IOI(C++ 올림피아드 문제)와 WeirdML(비정상적 머신러닝 코딩 과제) 같은 덜 최적화된 벤치마크와는 여전히 상관관계를 유지한다.