인간의 촉각 데이터 500시간, 로봇 조작 성공률 22.5%→57.5%

핵심 요약

• TouchScale은 500시간 분량의 인간 상호작용 시각·촉각 데이터셋으로, 단일 웨어러블 센서 장비로 통일되어 기록되었다.
• 각 기록은 정면 RGB-D 비디오, 손목 RGB 비디오, 양손 촉각 측정값이 시간 정렬되어 포함되며 약 2,000개의 사전 정의된 작업 설명을 아우른다.
• 기존 촉각 데이터와 달리 센서와 수집 절차가 고정되어 있어 데이터 규모의 영향을 명확히 분리할 수 있다.
• TouchScale으로 학습하면 미지의 촉각 센서에서 영점 촉각 접촉 IoU가 0.134에서 0.383으로 상승한다.
• TouchScale에서 사전학습한 시각 인코더는 세 가지 벤치마크에서 비교 대상 시각·촉각 데이터셋 중 최고 행동 인식 정확도를 달성한다.
• 로봇 정책의 시각·촉각 중간 학습에 사용하면 접촉이 많은 조작 작업 4개에서 평균 실제 성공률이 22.5%에서 57.5%로 상승한다.
• 센서와 수집 절차를 동일하게 유지한 상태에서 더 많은 TouchScale 데이터를 사용할수록 영점 촉각 예측과 로봇 성공률 모두 전반적으로 상향 추세를 보인다.
• 연구팀은 TouchScale 전체를 공개할 예정이며 동기화된 시각·촉각 기록과 재구성된 물체 모델을 포함한다.