로봇 조작을 위한 공간-언어-행동 통합 모델 SLA 공개
원제 SLA: Scaling Spatial-Language-Action Model via Continual Pre-training
추천 24댓글 1
Key Point
로봇이 현실의 다양한 상황에서 물체를 다루도록 하려면 시각과 행동뿐 아니라 공간 감각까지 기초 모델 단계에서 학습해야 하는데, SLA는 이를 실제 로봇 데이터 규모의 연속 학습으로 처음 해결한 접근이다.
핵심 요약
- 로봇 조작에는 의미 이해와 3차원 공간의 정밀한 제어가 필요하지만, 기존 시각-언어-행동(VLA) 모델들은 2D 사전학습에서 나온 시각 표현을 쓰고 공간 감각은 과제별 적응 단계에서만 학습한다.
- 공간 이해를 전이 가능한 기초 모델 능력으로 발전시키기 위해 연구팀은 SLA(Spatial-Language-Action Model)를 개발했으며, 지속적 사전학습 중 암묵적 공간 정렬을 확장하고 후속 작업 단계에서도 유지한다.
- SLA는 사전학습된 pi05 정책에서 시작하여 행동 예측과 중간 시각 임베딩 및 고정된 3D 인지 모델의 공간 표현 간 정렬을 공동으로 최적화한다.
- 다양한 로봇 형태, 작업, 장면에서의 공간 학습을 지원하기 위해 이질적 로봇 데이터셋들을 정리하고 통합했다.
- 이러한 다양성을 수용하기 위해 기능 종속 게이트를 도입해 여러 VLA 계층의 시각 임베딩을 공간 감독을 위해 적응적으로 통합한다.
- 교사 모델은 RGB 관찰과 함께 부분적으로 사용 가능한 깊이 정보와 카메라 캘리브레이션을 활용해 이질적 기하학적 주석을 효과적으로 활용한다.
- 확률적 상태 드롭아웃은 시각 단서에 대한 의존도를 높이고 시연 궤적에 대한 과적합을 완화한다.
- 모든 보조 구성요소는 학습 중에만 사용되므로 사전학습된 VLA 가중치를 직접 재사용할 수 있고 원래의 추론 구조를 유지한다.