Hugging Face 논문AI · 머신러닝

인간-로봇 행동 정렬로 기초 모델 확장성 높인 SALA

원제 SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models

추천 15댓글 2Jiachun Jin, Zetong Zhou, Haonan Wang 외
Key Point

로봇 학습 데이터 수집의 근본적 비용 문제를 해결하면서도 의미 있는 행동 정렬을 달성하는 방법론이 제시되어, embodied AI의 실용적 확장성을 크게 높인다.

핵심 요약

  • 로봇 상호작용 데이터 수집 비용 절감을 위해 인간의 일인칭 비디오를 활용하는 embodied 기초 모델 개발이 필요한 상황이다.
  • 기존 latent action model(LAM)은 비디오 재구성 방식으로만 학습하면서 시각적 외형에 따라 행동 표현이 뭉칠 수 있고, 인간 행동과 로봇 행동 간 정렬에 어려움이 있다.
  • SALA는 언어 설명을 활용해 쌍을 이루지 않은 인간 및 로봇 클립의 의미론적 유사도를 추정하고, 이를 통해 인간 latent action을 의미론적으로 관련된 로봇 latent 쪽으로 유도한다.
  • 로봇 행동 재구성은 latent space를 제어 가능하도록 접지시키고, 인간과 로봇 비디오 모두에 통합된 감독 신호를 제공한다.
  • latent action 감독을 통해 두 가지 확장이 가능하다: (1) 일반 인간 비디오 양을 늘린 사전학습이 다운스트림 작업의 로봇 행동 예측 오류를 꾸준히 감소, (2) 작업별 인간 비디오 양을 늘린 후학습이 실제 로봇 작업 성공률을 대폭 향상시킨다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗