로봇 움직임 추적·예측하는 TCP4D 모델 공개
Key Point
로봇 조작에서 비디오만으로 정확한 운동 궤적을 자동으로 추출·예측하고, 다른 로봇으로 쉽게 옮길 수 있다는 점이 로봇 학습 데이터 수집의 병목을 크게 줄일 수 있기 때문입니다.
핵심 요약
- 로봇 조작 영상에서 RGB 이미지만으로 로봇 행동과 그리퍼 상태를 자동으로 복원하는 문제를 해결하기 위해 embodiment-agnostic tool-center-point(TCP) 포즈를 행동 공간으로 사용한다.
- TCP4D는 공유하는 4D 장면 표현으로 관찰된 TCP 움직임을 추적하고 미래 TCP 궤적을 생성하는 통합 모델이다.
- 단안 카메라 영상과 초기 2D TCP 쿼리가 주어지면, 추적 모듈이 SE(3) 메트릭 TCP 포즈와 그리퍼 상태, 장면 기하학, 카메라 파라미터를 직접 복원한다.