로봇 조작을 위한 공간-언어-행동 통합 모델 SLA 공개
Key Point
로봇이 현실의 다양한 상황에서 물체를 다루도록 하려면 시각과 행동뿐 아니라 공간 감각까지 기초 모델 단계에서 학습해야 하는데, SLA는 이를 실제 로봇 데이터 규모의 연속 학습으로 처음 해결한 접근이다.
핵심 요약
- 로봇 조작에는 의미 이해와 3차원 공간의 정밀한 제어가 필요하지만, 기존 시각-언어-행동(VLA) 모델들은 2D 사전학습에서 나온 시각 표현을 쓰고 공간 감각은 과제별 적응 단계에서만 학습한다.
- 공간 이해를 전이 가능한 기초 모델 능력으로 발전시키기 위해 연구팀은 SLA(Spatial-Language-Action Model)를 개발했으며, 지속적 사전학습 중 암묵적 공간 정렬을 확장하고 후속 작업 단계에서도 유지한다.
- SLA는 사전학습된 pi05 정책에서 시작하여 행동 예측과 중간 시각 임베딩 및 고정된 3D 인지 모델의 공간 표현 간 정렬을 공동으로 최적화한다.