카메라 영상과 깊이만으로 물체 자세 파악하는 F2G-Pose 공개
원제 F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
추천 13댓글 2
Key Point
라벨이나 사전 학습된 모델 없이 실시간으로 물체 자세를 복구할 수 있는 효율적인 방법이 로봇 조작과 3D 비전 응용에 큰 영향을 미칠 수 있기 때문이다.
핵심 요약
- RGB-D 이미지에서 물체의 3D 회전과 이동을 추정하는 카테고리 수준 물체 자세 인식 문제를 다룬다. 부분적 관찰과 자세 모호성이 있어도 인스턴스 특화 CAD 모델이나 참조 이미지 없이 자세를 복구해야 한다.
- 기존 방식은 중간 구조 기반 방법은 오류 전파에 취약하고, 확산 모델은 높은 추론 지연 시간과 복잡한 후처리 과정이 필요했다.
- F2G-Pose는 단일 RGB-D 관찰에서 한 번의 순전파로 물체 자세·실제 크기·완성된 형태를 동시에 예측하는 실시간 직접 예측 프레임워크다.
- RADIO 시각 기초 모델에서 추출한 특징을 부분 포인트 클라우드로 변환하고, DGCNN 토큰화로 지역 기하학을 인코딩한 뒤 Mixture-of-Experts 변환기로 객체 수준 구조를 통합한다.
- 크기 예측과 카메라 프레임 기반 형태 완성이 밀집 기하학 감시를 통해 메트릭 일관성을 보장한다.
- 합성 SOPE 데이터로만 학습하면서 동결된 RADIO 백본을 활용하여 SOPE와 ROPE에서 최첨단 정확도를 달성하고 자세 예측 전용 28 FPS로 동작한다.
- HouseCat6D에서 강력한 카메라 프레임 기하학을 보이고, HANDAL에서 실제 물체로의 전이 학습도 입증했다.
- 지연 시간·견고성·형태 완성·GenPose++ 후보 동작 분석이 효율성과 신뢰성을 입증하며, 실제 환경에서 세그먼테이션된 RGB-D 입력으로 조작 작업에도 배포 가능함을 보였다.