VLM으로 현실감 있는 3D 세계를 자동 생성하는 InfiniDream
원제 InfiniDream: Open-Ended Photorealistic 3D Worlds Through Procedural Generation
추천 26댓글 2
Key Point
절차 생성과 VLM을 결합하여 현실감 있는 3D 세계를 텍스트로 자동 생성할 수 있게 됨으로써 게임 개발과 합성 데이터 생성 방식을 단순화한다.
핵심 요약
- 절차 생성(procedural generation)은 정적 메시 표현보다 제어성, 편집성, 다양성이 우수하지만, VLM 기반 코드 생성은 단순한 3D 자산만 만들고 고도로 현실감 있는 절차 시스템은 수동 개발이 필요하다.
- 기존 VLM 기반 절차 방식은 미리 정의된 팩토리와 API로 제한되어 새로운 자산 생성이 어렵다.
- InfiniDream은 VLM 기반의 개방형 절차 3D 세계 생성 프레임워크로, 상징적으로 제한된 자산 생성(Symbolically Constrained Asset Generation)과 결정론적 프러스텀 가이드 격자 배치(Deterministic Frustum-Guided Grid Placement)를 결합한다.
- 상징적으로 제한된 자산 생성은 기존 절차 알고리즘을 활용하여 현실감 있으면서도 편집 가능하고 시드 기반 다양성을 유지하는 자산을 만든다.
- 텍스트-월드 파이프라인은 의미적 장면 계획과 격자 배치를 조합해 정밀한 객체 배치, 절차 생성 인구, 애니메이션이 포함된 대규모 3D 세계를 구성한다.
- 100개 객체와 20개 장면 생성 작업에 대한 평가에서 4개 지각 메트릭 전반에서 성능 개선을 보였다.
- 다양성 분석, 절제 연구, 인간 선호도 평가로 프레임워크의 효과성을 검증했다.