Hugging Face 논문AI · 머신러닝

로봇 움직임 추적·예측하는 TCP4D 모델 공개

원제 TCP4D: A Unified Tool-Center-Point Tracking and Generation Model for Robot Manipulation

추천 24댓글 4Haosong Peng, Xiangyang Liu, Zhengshen Zhang 외
Key Point

로봇 조작에서 비디오만으로 정확한 운동 궤적을 자동으로 추출·예측하고, 다른 로봇으로 쉽게 옮길 수 있다는 점이 로봇 학습 데이터 수집의 병목을 크게 줄일 수 있기 때문입니다.

핵심 요약

  • 로봇 조작 영상에서 RGB 이미지만으로 로봇 행동과 그리퍼 상태를 자동으로 복원하는 문제를 해결하기 위해 embodiment-agnostic tool-center-point(TCP) 포즈를 행동 공간으로 사용한다.
  • TCP4D는 공유하는 4D 장면 표현으로 관찰된 TCP 움직임을 추적하고 미래 TCP 궤적을 생성하는 통합 모델이다.
  • 단안 카메라 영상과 초기 2D TCP 쿼리가 주어지면, 추적 모듈이 SE(3) 메트릭 TCP 포즈와 그리퍼 상태, 장면 기하학, 카메라 파라미터를 직접 복원한다.
  • 생성 모듈은 같은 4D 표현에서 복원된 TCP 트랙을 따라 지역 특징을 샘플링한 후, 로봇 관찰과 언어 지시를 결합해 미래 TCP 상태를 예측한다.
  • 기존 RGB 영상을 다른 로봇 형태를 위한 시연 데이터로 변환하는 cross-embodiment 증강 파이프라인을 개발하며, 녹화된 소스 로봇 상태 없이도 운동을 재타겟팅하고 해당 관찰을 합성한다.
  • DROID와 RoboLab 데이터셋에서 추적 모듈이 각각 7.60mm, 16.07mm의 절대 궤적 오차를 달성했으며, 단 10개의 시연만으로 새로운 로봇에 적응한다.
  • 생성 모듈은 RoboTwin에서 69.19%의 평균 성공률을 달성하고 두 개의 실제 작업에서 기존 정책 모델을 능가한다.
  • 소스 로봇 시연과 증강 시연을 함께 학습하면 증강 시연만 사용한 경우 대비 목표 로봇의 성공률이 41.5% 향상된다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗