로봇 조작 모델을 키우다, 영상에서 추출한 3D 행동으로

핵심 요약

• 로봇 비전-언어-행동(VLA) 모델을 확장하려면 행동 레이블이 붙은 학습 데이터가 부족하고, 로봇마다 제어 방식이 다르다는 제약이 있다.
• RynnVLA-Latent는 이를 해결하기 위해 사람, 로봇, 시뮬레이션 영상을 로봇 정책 사전학습용 감독 신호로 바꾼다.
• 핵심은 RynnLAM으로, 시각 전환(visual transition)에서 실제 로봇 제어 없이 3D 기반 잠재 행동을 학습한다.
• 잔여 미래 특성 예측, 카메라 보정 3D 흐름 감독, 카메라 움직임 분리 등 기법으로 외형 변화가 아닌 제어 관련 움직임을 포착하게 한다.
• 30.1K시간의 영상에서 745.52M개의 잠재 행동 설명자를 생성했다.
• RynnVLA-Latent는 흐름 매칭으로 시각과 언어 입력에서 잠재 행동 청크를 예측한 뒤, 사전학습된 백본과 행동 전문가를 로봇별 제어로 적응시킨다.
• 4B 파라미터 정책은 LIBERO에서 98.8%, LIBERO-Plus에서 84.7% 성공률을 달성했으며, 벤치마크 특화 조정 없이도 성과를 냈다.
• VLABench 5개 트랙에서 평균 51.9%, RoboTwin 2.0 양팔 로봇 벤치마크에서 평균 88.6% 성공률을 기록했다.
• 6개 실제 환경 조작 과제(손가락 섬세 조작, 이동형 그리퍼)에서도 비교 방법들 중 가장 높은 성공률을 보였다.
• 표현 제거 실험과 데이터 규모 확대 결과는 로봇 정책 학습을 행동 레이블 없는 데이터로 확장할 가능성을 보여준다.