단일 이미지에서 3D 장면 재구성, 객체 기반 접근법으로 품질 향상

핵심 요약

• 단일 이미지로부터 3D 장면을 구성하는 문제를 다루며, 기존의 SAM-3Dfy 같은 방식이 세밀한 기하학적 표현과 자산 품질에서 한계를 보인다.
• 연구팀은 Easy-3Dfy라는 구성 기반 워크플로우를 제안했으며, 이는 객체 생성과 장면 배치 추정을 분리해 각 모델의 강점을 활용한다.
• 특화된 3D 객체 생성기는 상세한 객체 기하학을, 3D 기초 모델은 강력한 공간 이해를 각각 담당하도록 설계했다.
• RPF 기반 정렬기(aligner)가 객체별 메시와 부분 장면 포인트맵 간 기하학적 대응을 수립해 객체 배치를 복구한다.
• 완전한 장면 수준의 감독 없이도 Scene-Maker와 3D-FUTURE200 데이터셋에서 SAM-3Dfy보다 여러 기하학적 지표에서 일관되게 우수한 성능을 보였다.
• 명시적인 기하학적 구성 방식이 고품질 객체 생성과 강력한 공간 이해를 효과적으로 결합할 수 있으며, 향후 3D 객체 생성과 기초 모델의 발전으로부터 독립적으로 이득을 볼 수 있다.