언어로 조종하는 무한 3D 월드, 실시간으로 생성된다
원제 WorldStream: Streaming Interactive 3D Worlds with Hierarchical Planning and Persistent State
추천 17댓글 1
Key Point
LLM과 3D 생성 모델을 결합해 게임·메타버스 같은 대규모 인터랙티브 환경을 실시간으로 만드는 기술이 가능함을 보여주는 논문으로, 생성형 AI의 게임·시뮬레이션 분야 응용 가능성을 확인할 수 있다.
핵심 요약
- WorldStream은 자유로운 언어 명령에 따라 3D 세계를 무한으로 확장하면서 방문했던 장소의 편집 내용을 보존하는 오픈엔디드 월드 모델을 제시한다.
- 계층적 플래너가 거시(Macro) 단계에서 타일 그룹 전체의 정착지·생태·교통·수문 구조를 결정하고, 미시(Micro) 단계에서 지형과 이웃 타일의 제약을 반영해 각 타일의 의미론적 세부를 구체화한다.
- 결정된 계획은 결정론적 로컬 코드로 컴파일되어 지형·도로·정착촌·식생·개체를 생성하며, 스트리밍 방식으로 사용자 이동 경로 앞쪽에서만 계획과 컴파일을 실행해 메모리를 절감한다.
- 하나의 월드 레코드가 계획·시드·객체 정체성·변경 가능한 상태·타일 경계 약속·사용자 편집을 저장하고, 사용자가 전진하거나 편집할 때마다 업데이트되며, 재방문한 타일은 이 레코드에서 다시 컴파일된다.
- 동일한 레코드가 상호작용의 근거가 되어 모델이 기존 개체(상태가 변하는 NPC 포함)에 작용하거나 현재 지역을 편집하거나 미계획 지역에 의도를 부여할 수 있다.
- 제한된 계산 예산 내에서 세계가 확장되고 독립적으로 계획된 타일들이 연결되며 사용자 상호작용이 즉시 반영된다.