사진 한 장으로 3D 장면 복원, 물리적으로 호환되는 객체들을 함께 생성
원제 Tetris3D: 3D Scene Generation With Objects That Fit Together
추천 44댓글 1
Key Point
3D 장면 이해에서 객체 간 물리적 호환성을 명시적으로 학습하는 방식이 새로운 접근이며, 새로운 대규모 물리 시뮬레이션 데이터셋이 공개되어 후속 연구의 기초자료가 될 수 있기 때문이다.
핵심 요약
- 단일 사진에서 3D 장면을 복원하는 Tetris3D라는 생성 모델을 제안했다.
- 기존 방법들과 달리 각 객체의 생성을 주변 객체의 기하학적 형태와 물리적 관계에 조건화해, 객체 간의 공간적 호환성을 보장한다.
- 연구팀은 ComOb라는 물리 시뮬레이션 기반 데이터셋을 구축했는데, 1.2M개의 장면에 다양한 카테고리의 물리 상호작용과 객체별 메시, 객체 쌍의 물리 관계 정보를 포함했다.
- 합성 데이터와 실제 사진을 모두 테스트한 결과, Tetris3D는 객체 간 접촉 부분이 가려진 경우에도 일관성 있는 형태와 포즈를 복원했다.
- 생성 품질과 물리적 안정성 모두에서 기존 방법보다 우수한 성능을 달성했다.