자율주행 카메라 영상으로 3D 인식·재구성 일괄 처리 Foundation4D
원제 Foundation4D: Towards a unified perception and reconstruction model for autonomous vehicles
추천 11댓글 1
Key Point
자율주행 단일 모델로 깊이·객체감지·공간점유까지 동시에 처리하고 이를 장면 재구성까지 연결하는 통합 파이프라인이 등장했으며, 라이다 없이도 상용 벤치마크에서 경쟁 방식을 앞도는 성능을 보였다.
핵심 요약
- Foundation4D는 다중 카메라 주행 영상으로부터 깊이 추정, 3D 객체 감지, 의미론적 점유격자(occupancy), 가우시안 재구성을 모두 수행하는 통합 신경망 모델이다.
- 공유 백본은 인수분해 시공간 어텐션(factorized spatiotemporal attention)으로 여러 카메라의 관측값과 시간 정보를 효율적으로 결합한다.
- 비디오 추론 파이프라인은 포즈 그래프 최적화로 카메라 궤적을 개선하고 입력 윈도우 전체에서 객체 추적을 조합한다.
- 연구진은 데이터 주석 처리 파이프라인을 개발했으며, 1,253개 주행 영상에 밀집 깊이와 의미론적 점유격자 라벨을 포함한 벤치마크 PAI-Foundation4D를 공개했다.
- 벤치마크별 미세조정 후 Foundation4D는 Waymo와 nuScenes에서 가장 낮은 깊이 AbsRel 오차, nuScenes에서 가장 높은 감지 mAP, OpenOccupancy에서 가장 높은 점유격자 mIoU를 달성했다.
- 감지와 기하학을 함께 학습하면 감지만 학습한 경우보다 최상위 클래스 mAP가 1.2포인트 향상되고, 기하학과 감지를 함께 학습하면 카메라-차체 변환 오차가 13.4% 감소한다.
- 예측된 기하학 정보와 궤적을 라이다 없는 NuRec 재구성 모델의 사전 정보로 활용하여 주행 장면 시뮬레이션을 지원한다.