Hugging Face 논문AI · 머신러닝오늘의 주요

인간 영상 50,000시간으로 로봇 기초모델 학습시키는 오픈 방법론

원제 Open-HumanScale: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models

추천 32댓글 3Juncheng Ma, Jiaxin Li, Jiankai Tu 외
Key Point

인간 행동 영상 대규모 데이터로 로봇 조작 능력을 효과적으로 학습할 수 있는 실증적 방법론과 스케일링 법칙을 제시했으며, 재현 가능한 연구를 위해 전체 파이프라인을 오픈소스화했다.

핵심 요약

  • 1인칭 시점 인간 영상 5만 시간으로 로봇 학습을 위한 데이터를 확보하는 Open-HumanScale 방법론을 공개했다.
  • 손동작과 자연언어 주석이 달린 Open-HumanScale-50K 데이터셋을 구축하고, 시뮬레이션 평가로 인간 사전학습만으로도 데이터 시간과 로봇 성공률 간 로그 선형 스케일링 법칙을 발견했다.
  • 인간 영상 5만 시간으로만 학습한 HumanWAM-Vanilla 모델은 RoboTwin 2.0 Clean2Clean에서 92.08% 성공률, Clean2Random에서 68.88%, RoboDojo에서 평균 14.17% 성공률을 기록했다.
  • 인간 데이터와 로봇 데이터를 함께 학습한 HumanWAM-Goal 모델은 RoboTwin 2.0 Clean2Clean 92.70%, Clean2Random 84.60%의 성능을 달성했고, 제로샷 일반화 능력을 보였다.
  • 물리 로봇에서 HumanWAM-Goal은 미학습 시각 목표에 파라미터 업데이트 없이 동적으로 조정하는 신출내기 맥락 내 학습 능력을 보였다.
  • 재현 가능한 구체화 AI 연구를 위해 데이터셋, 데이터 큐레이션 파이프라인, 사전학습 코드, 모델 체크포인트, 추론 코드, 시뮬레이션 평가 도구를 모두 공개했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗