VLM으로 현실감 있는 3D 세계를 자동 생성하는 InfiniDream
Key Point
절차 생성과 VLM을 결합하여 현실감 있는 3D 세계를 텍스트로 자동 생성할 수 있게 됨으로써 게임 개발과 합성 데이터 생성 방식을 단순화한다.
핵심 요약
- 절차 생성(procedural generation)은 정적 메시 표현보다 제어성, 편집성, 다양성이 우수하지만, VLM 기반 코드 생성은 단순한 3D 자산만 만들고 고도로 현실감 있는 절차 시스템은 수동 개발이 필요하다.
- 기존 VLM 기반 절차 방식은 미리 정의된 팩토리와 API로 제한되어 새로운 자산 생성이 어렵다.
- InfiniDream은 VLM 기반의 개방형 절차 3D 세계 생성 프레임워크로, 상징적으로 제한된 자산 생성(Symbolically Constrained Asset Generation)과 결정론적 프러스텀 가이드 격자 배치(Deterministic Frustum-Guided Grid Placement)를 결합한다.