로봇 움직임 추적·예측하는 TCP4D 모델 공개
원제 TCP4D: A Unified Tool-Center-Point Tracking and Generation Model for Robot Manipulation
추천 24댓글 4
Key Point
로봇 조작에서 비디오만으로 정확한 운동 궤적을 자동으로 추출·예측하고, 다른 로봇으로 쉽게 옮길 수 있다는 점이 로봇 학습 데이터 수집의 병목을 크게 줄일 수 있기 때문입니다.
핵심 요약
- 로봇 조작 영상에서 RGB 이미지만으로 로봇 행동과 그리퍼 상태를 자동으로 복원하는 문제를 해결하기 위해 embodiment-agnostic tool-center-point(TCP) 포즈를 행동 공간으로 사용한다.
- TCP4D는 공유하는 4D 장면 표현으로 관찰된 TCP 움직임을 추적하고 미래 TCP 궤적을 생성하는 통합 모델이다.
- 단안 카메라 영상과 초기 2D TCP 쿼리가 주어지면, 추적 모듈이 SE(3) 메트릭 TCP 포즈와 그리퍼 상태, 장면 기하학, 카메라 파라미터를 직접 복원한다.
- 생성 모듈은 같은 4D 표현에서 복원된 TCP 트랙을 따라 지역 특징을 샘플링한 후, 로봇 관찰과 언어 지시를 결합해 미래 TCP 상태를 예측한다.
- 기존 RGB 영상을 다른 로봇 형태를 위한 시연 데이터로 변환하는 cross-embodiment 증강 파이프라인을 개발하며, 녹화된 소스 로봇 상태 없이도 운동을 재타겟팅하고 해당 관찰을 합성한다.
- DROID와 RoboLab 데이터셋에서 추적 모듈이 각각 7.60mm, 16.07mm의 절대 궤적 오차를 달성했으며, 단 10개의 시연만으로 새로운 로봇에 적응한다.
- 생성 모듈은 RoboTwin에서 69.19%의 평균 성공률을 달성하고 두 개의 실제 작업에서 기존 정책 모델을 능가한다.
- 소스 로봇 시연과 증강 시연을 함께 학습하면 증강 시연만 사용한 경우 대비 목표 로봇의 성공률이 41.5% 향상된다.