Hugging Face 논문AI · 머신러닝

비디오·행동을 함께 학습하는 세계 모델 SWAM 공개

원제 SWAM: Scaling World Action Models with Cross-Modal Alignment

추천 23댓글 5Yu Zhou, Xinyuan Xia, Xuankun Yang 외
Key Point

로봇 제어를 위한 세계 모델의 언어-비디오 정렬 유지 전략이 명확해져, 동작 학습 시 기존 이해 능력을 보존하면서 행동 능력까지 확장하려는 연구자들에게 실질적인 지침을 제공한다.

핵심 요약

  • 언어-비디오 정렬을 학습한 기반 위에 행동 학습을 추가할 때 기존 정렬이 훼손될 수 있다는 문제를 중점 연구했다.
  • 약 47,000시간의 일반 비디오, 1인칭 시점 비디오, UMI 데모, 로봇 데모를 수집하여 데이터 풀을 구성했다.
  • 언어-비디오 감시, 언어-비디오-행동 감시, 두 형태를 결합한 학습이 세계 행동 모델(WAM) 성능에 어떻게 영향 미치는지 체계적으로 분석했다.
  • 언어 어노테이션 품질이 사전학습된 언어-비디오 능력에 미치는 영향, 그리고 UMI·로봇 데모의 행동 감시가 이러한 능력을 언어-비디오-행동 모델링으로 확장하는 방식을 검토했다.
  • 고정된 학습 예산 하에서 1인칭 시점 비디오와 UMI 데모를 혼합하면 제어 일반화가 개선된다는 점을 발견했다.
  • 모델 아키텍처가 이러한 경험들을 얼마나 효과적으로 활용하는지에 영향을 미치며, 선택된 구성 하에서 사전학습 확장이 추가 성능 향상을 가져온다.
  • RoboTwin Clean 데모로만 후학습한 결과, 청정-청정 환경(Easy)에서 88.10%, 청정-무작위 환경(Hard)에서 61.56%의 성공률을 달성했다.
  • 실제 로봇 과제 3개에서 40.00% 성공률을 기록하여, 기존 최강 기준 23.33%을 크게 상회하며 미보유 조건에서의 높은 일반화 능력을 입증했다.
  • 연구팀은 수집한 데이터, 학습 코드, 모델 가중치를 공개했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗