자연어로 3D 실내 공간 생성하는 AI 에이전트 개발
원제 Scene-Designer: Learning Design Intelligence for Agentic 3D Scene Generation
추천 56댓글 3
Key Point
자연어로 물리적으로 타당하고 기능적으로 올바른 3D 공간을 자동으로 설계하는 기술이 게임, 건축 시각화, 메타버스 등 여러 산업에서 필요한 핵심 과제를 해결한다.
핵심 요약
- Scene-Designer는 설계 능력과 비평 능력을 동시에 학습하는 에이전트 프레임워크로, 자연어 설명으로부터 완전하고 정합적인 3D 실내 공간을 생성한다.
- Scene-OTA-35K 데이터셋은 관찰-사고-행동 지도를 제공해 장면 설계와 오류 수정을 학습하며, Scene-OTC-15K 데이터셋은 관찰-사고-평가자 지도로 물리적 타당성, 기능적 정확성, 레이아웃 일관성을 평가하는 능력을 갖춘다.
- Scene-GRPO는 평가자 기반 GRPO 프레임워크로, 설계 결정을 개선하고 불필요한 시행착오를 줄인다.
- 실험 결과 Scene-Designer는 물리적 타당성, 기능적 정확성, 레이아웃 일관성에서 우수한 성능을 달성했다.
- 학습된 Scene-Critic은 범용 모델보다 공간 비평에서 현저히 뛰어나며, 테스트 단계에서도 추가 안내를 제공할 수 있다.
- 설계 능력과 비평 능력 사이의 상호 증강 추세가 관찰되었다.