인간-로봇 행동 정렬로 기초 모델 확장성 높인 SALA
원제 SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models
추천 15댓글 2
Key Point
로봇 학습 데이터 수집의 근본적 비용 문제를 해결하면서도 의미 있는 행동 정렬을 달성하는 방법론이 제시되어, embodied AI의 실용적 확장성을 크게 높인다.
핵심 요약
- 로봇 상호작용 데이터 수집 비용 절감을 위해 인간의 일인칭 비디오를 활용하는 embodied 기초 모델 개발이 필요한 상황이다.
- 기존 latent action model(LAM)은 비디오 재구성 방식으로만 학습하면서 시각적 외형에 따라 행동 표현이 뭉칠 수 있고, 인간 행동과 로봇 행동 간 정렬에 어려움이 있다.
- SALA는 언어 설명을 활용해 쌍을 이루지 않은 인간 및 로봇 클립의 의미론적 유사도를 추정하고, 이를 통해 인간 latent action을 의미론적으로 관련된 로봇 latent 쪽으로 유도한다.
- 로봇 행동 재구성은 latent space를 제어 가능하도록 접지시키고, 인간과 로봇 비디오 모두에 통합된 감독 신호를 제공한다.
- latent action 감독을 통해 두 가지 확장이 가능하다: (1) 일반 인간 비디오 양을 늘린 사전학습이 다운스트림 작업의 로봇 행동 예측 오류를 꾸준히 감소, (2) 작업별 인간 비디오 양을 늘린 후학습이 실제 로봇 작업 성공률을 대폭 향상시킨다.