3D 재구성 모델의 거리 추정 능력을 평가하는 벤치마크 Pumpire 공개

핵심 요약

• Pumpire는 이미지와 비디오 기반 3D 파운데이션 모델의 포인트 간 거리 추정 능력을 통합 평가하는 벤치마크다.
• 기존 깊이 맵과 카메라 내부 파라미터를 따로 평가하거나 기하학적 유사도 지표를 쓰는 방식과 달리, 재구성된 기하 정보에서 직접 포인트 간 거리 오류를 측정한다.
• 100개 실제 장면에서 물리적으로 측정한 포인트 쌍 거리를 주석 달고 장면마다 64프레임(총 6,400프레임)으로 구성한 대규모 데이터셋 pumpire-6k를 수집했다.
• 이 데이터셋 기반으로 이미지·비디오 레벨 3D 파운데이션 모델을 모두 포함하며 포인트 간 거리 오류와 크로스 세팅 비교를 가능하게 하는 평가 프로토콜을 수립했다.
• 대표적인 3D 파운데이션 모델 29가지 설정에 대해 광범위한 실험을 수행하고 결과를 종합적으로 분석했다.
• 깊이 프라이어 유무에 상관없이 모든 3D 파운데이션 모델을 평가할 수 있다.
• 이 벤치마크는 재구성된 3D 공간에서 물리적 스케일을 인식하고 추정하는 근본적인 능력을 평가하는데, 기존 평가 프로토콜에서는 이를 크게 간과했다.