로봇 영상과 행동을 연결해 작업 일반화 개선
원제 WorldBridge: Bridging Video and Action for Task Generalization in World Action Models
추천 14댓글 2
Key Point
로봇 학습에서 새로운 작업 적응의 핵심인 영상과 행동 데이터의 역할을 실험적으로 규명하고, 이를 바탕으로 다양한 벤치마크에서 최고 성능을 달성한 실용적 모델을 제시했다.
핵심 요약
- 로봇이 새로운 작업에 적응하도록 하는 World Action Models(WAM)의 과제를 연구했으며, 영상 일반화와 행동 일반화라는 두 가지 기능이 중요함을 발견했다.
- RoboTwin 2.0에서 훈련 분포 내 영상-행동 감독만으로는 25.07% 성공률을 보였고, 훈련 외 작업의 영상을 추가하면 55.90%로 올라갔으며, 작업당 단 한 개의 행동 라벨까지 더하면 70.70%에 도달했다.
- 이는 더 폭넓은 영상 커버리지가 기존 역동역학 능력을 활용해 작업 전이를 가능하게 하고, 희소한 행동 감독이 이 능력을 더욱 강화함을 시사한다.
- 이러한 통찰에 기반해 WorldBridge라는 모델을 제시했으며, 구조화된 주의 메커니즘과 조인트 플로우 매칭으로 연결된 별도의 영상 및 행동 전문가로 구성된다.
- WorldBridge는 두 가지 시간 척도의 시각 메모리와 행동 강제, 이질적인 로봇 궤적과 한계점 감독을 표준화하고 필터링하는 통합 데이터 처리 파이프라인을 포함한다.
- 여러 조작 벤치마크에서 RoboTwin 2.0 전체 데이터 설정에서 96.23%, 클린-투-랜덤 설정에서 80.9%, RoboCasa GR1 TableTop에서 82.8%, DOMINO Level-1에서 57.6%의 성과를 달성했다.
- 영상 예측과 행동 접지가 작업 간 일반화 능력을 갖춘 로봇 개발에서 상호보완적 역할을 한다는 점을 강조한다.