생성형 AI로 대규모 3D 장면 완전 복원 실현
원제 WorldRecon: Generative Multi-View Mesh Reconstruction for Large-Scale 3D World
추천 10댓글 2
Key Point
완전하고 일관된 대규모 3D 장면 복원이 가능해져 가상현실·영상 제작·로봇 환경 인식 등 다양한 분야에서 활용될 수 있게 된다.
핵심 요약
- 다양한 각도의 카메라 정보 없는 RGB 이미지들로부터 대규모 3D 장면의 완전한 메시를 복원하는 생성형 모델 WorldRecon을 제시했다.
- 입력 이미지로부터 추정한 포인트 클라우드와 카메라 포즈를 전역 스캐폴드로 사용하고, 이를 겹치는 공간 블록으로 분할하여 처리한다.
- 3D 생성 모델 TRELLIS.2를 개선한 재구성 기반 조건화 아키텍처로 각 블록을 로컬 포인트 클라우드와 해당 이미지로부터 생성하며, 구조·기하·PBR 재료를 출력한다.
- 이웃 인식 래턴트 인페인팅과 인과 월드 생성 절차를 도입해 겹치는 블록들 간 구조·기하·재료 정보를 전파하여 장면 수준의 일관성을 유지한다.
- 합성 실내 장면에서는 Chamfer 거리 14.9% 감소, F-score 17.3% 향상으로, 실제 장면에서는 각각 43.1% 감소, 12.0% 향상으로 최첨단 기준을 능가한다.
- 시뮬레이션 환경에서 학습한 모델이 실제 데이터에서 강한 일반화 성능을 보여준다.