AI 게임을 고급 그래픽으로 변환하는 AnyGameRenderer 공개
원제 AnyGameRenderer: Entity-Consistent Generative Rendering Across Games and an Entity-Level Benchmark
추천 19댓글 2
Key Point
AI가 생성한 프로토타입 게임의 비주얼 품질을 대규모 비디오 생성 모델로 자동 개선할 수 있게 되었으며, 엔티티 위치와 타이밍을 정확하게 보존하는 기술적 진전을 보여준다.
핵심 요약
- AI 코딩 에이전트가 몇 분 안에 만든 게임은 회색 블록아웃과 단순한 형상 같은 저품질 비주얼로 나타난다.
- Hugging Face의 AnyGameRenderer는 비디오-투-비디오 생성형 렌더러로, 이런 촌스러운 영상을 고품질 그래픽으로 변환한다.
- 타워 디펜스, 자동 배틀러, 탑다운 서바이벌, 턴제 배틀, 카트 레이싱, 크라우드 러너 등 다양한 장르에 걸쳐 일반화된다.
- 엔진 G-버퍼나 오브젝트 클래스 라벨 없이 순수 비디오만 입력받으며, 회색 블록아웃·색칠된 프리미티브·의미맵·와이어프레임 모두 입력으로 작동한다.
- MiniMax-H3 ref2va라는 330억 파라미터 비디오 생성 모델을 LoRA 파인튜닝해 구현했으며, AI 게임 제작 도구 GEAR에서 38개 게임 영상, Unreal Engine의 제어된 크라우드 데이터, 3D 박스 검출로 재구성한 실제 게임플레이 영상으로 약 1만 쌍을 학습했다.
- 엔티티 대응성 평가를 위해 753개 엔티티를 포함한 59개 홀드아웃 케이스로 벤치마크를 제안했다.
- 기본 모델 대비 엔티티 대응성이 향상돼, 시간적 일치도는 50.9%에서 62.9%로 올랐고, 놓친 개수 변화는 34.7%에서 21.3%로 줄었으며, 할루시네이션과 미렌더링 엔티티가 감소했다.