휴머노이드 로봇을 위한 멀티모달 기초 모델 HuGe 공개
원제 HuGe: Scaling Humanoid Generalist Vision-Language-Action Models with Egocentric Experience
추천 16댓글 2
Key Point
휴머노이드 로봇 제어에 인간 동작 데이터를 효과적으로 활용할 수 있는 방법론이 제시되면서, 로봇 학습 데이터 수집 비용을 크게 줄일 수 있는 길이 열렸기 때문이다.
핵심 요약
- VLA(Vision-Language-Action) 모델을 휴머노이드 로봇에 적용할 때 전신 제어와 다양한 시연 데이터가 필요하지만, 현실에서 수집하기 어렵다는 문제가 있다.
- HuGe는 2,000시간 이상의 1인칭 관점 인간 및 로봇 데이터로 사전학습한 휴머노이드 VLA 모델이다.
- 세 가지 기존 VLA 아키텍처를 사용해 사전학습된 전신 제어기를 위한 잠재 동작 토큰과 손 제어 신호를 예측한다.
- 사전학습, 휴머노이드 적응, 다운스트림 미세조정의 3단계 학습 파이프라인을 도입했다.
- 육체 간 전이를 위해 사전학습 중 시뮬레이션 재생을 통해 의사고유감각 상태를 구성하고, 미세조정 중 1인칭 관점 이미지의 팔 외형을 재렌더링으로 수정한다.
- HuGe는 HumanoidArena 시뮬레이션 벤치마크에서 최고 성능을 달성했으며, Unitree G1 실제 로봇 실험에서 시각 적응 1인칭 시연 데이터가 픽앤드롭 작업 성공률을 크게 높였다.