인간 영상 50,000시간으로 로봇 기초모델 학습시키는 오픈 방법론
원제 Open-HumanScale: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models
추천 32댓글 3
Key Point
인간 행동 영상 대규모 데이터로 로봇 조작 능력을 효과적으로 학습할 수 있는 실증적 방법론과 스케일링 법칙을 제시했으며, 재현 가능한 연구를 위해 전체 파이프라인을 오픈소스화했다.
핵심 요약
- 1인칭 시점 인간 영상 5만 시간으로 로봇 학습을 위한 데이터를 확보하는 Open-HumanScale 방법론을 공개했다.
- 손동작과 자연언어 주석이 달린 Open-HumanScale-50K 데이터셋을 구축하고, 시뮬레이션 평가로 인간 사전학습만으로도 데이터 시간과 로봇 성공률 간 로그 선형 스케일링 법칙을 발견했다.
- 인간 영상 5만 시간으로만 학습한 HumanWAM-Vanilla 모델은 RoboTwin 2.0 Clean2Clean에서 92.08% 성공률, Clean2Random에서 68.88%, RoboDojo에서 평균 14.17% 성공률을 기록했다.
- 인간 데이터와 로봇 데이터를 함께 학습한 HumanWAM-Goal 모델은 RoboTwin 2.0 Clean2Clean 92.70%, Clean2Random 84.60%의 성능을 달성했고, 제로샷 일반화 능력을 보였다.
- 물리 로봇에서 HumanWAM-Goal은 미학습 시각 목표에 파라미터 업데이트 없이 동적으로 조정하는 신출내기 맥락 내 학습 능력을 보였다.
- 재현 가능한 구체화 AI 연구를 위해 데이터셋, 데이터 큐레이션 파이프라인, 사전학습 코드, 모델 체크포인트, 추론 코드, 시뮬레이션 평가 도구를 모두 공개했다.