Hugging Face 논문AI · 머신러닝

단일 이미지도, 비디오도 한 번에—4D 장면 인식 AI 모델 π^4

원제 π^4: A Foundation Model for 4D Scene Geometry and Motion

추천 17댓글 2Yifan Wang, Weiguang Zhao, Ni Yang 외
Key Point

카메라 포즈, 기하학, 움직임 추적을 한 번에 복원하는 통합 모델은 로보틱스, AR, 3D 콘텐츠 제작 등 다양한 응용 분야에서 멀티모달 입력을 처리할 수 있는 새로운 기준을 제시한다.

핵심 요약

  • π^4는 RGB 사진 하나, 정렬되지 않은 이미지 모음, 또는 비디오 시퀀스 등 다양한 입력으로 4D 장면을 인식하는 통합 파운데이션 모델이다.
  • 기하학(geometry) 브랜치와 기하학 조건부 모션 브랜치로 구성되어, 카메라 포즈와 미터 스케일, 밀도 높은 기하학 정보를 복원한다.
  • 다중 이미지 입력 시 2D/3D 포인트 트랙과 움직이는 물체 마스크도 함께 예측한다.
  • 모션 브랜치는 이미지 공간 대응점을 예측하고, 복원된 목표 뷰의 기하학 정보를 이용해 이를 3D로 변환한다.
  • 공유 백본(backbone)으로 약 0.5B 매개변수만 사용하며, 대부분의 기존 모델의 절반 이하 크기다.
  • 기하학 평가에서 최고 평균 순위를 달성했으며, 싱글·멀티뷰 포인트 트래킹과 움직이는 물체 분할에서도 경쟁력 있는 성능을 보인다.
  • 최대 64개 뷰로 학습했지만 수천 개의 입력 이미지를 가진 대규모 장면도 한 번의 포워드 패스로 처리 가능하다.
  • 기하학과 모션 정보를 함께 복원하는 코드와 모델, 학습 데이터셋이 공개되어 있다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗