로봇 제어 성능 높이는 물리 역학 이해 모델 PDRVLA
원제 PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations
추천 149댓글 2
Key Point
로봇 제어 시뮬레이션에서 최고 수준의 성공률을 달성한 새로운 방식이 기존 비디오 생성 방식의 지연 문제를 해결하고 공개 데이터만으로 학습 가능함을 보여준다.
핵심 요약
- 로봇의 시각·언어 명령 처리 모델(VLA)이 물리 역학을 충분히 이해하지 못하는 문제를 해결하기 위해 PDRVLA를 개발했다.
- 기존 비디오 세계 모델은 동역학을 포착하지만 미래 프레임을 생성해야 해 제어 지연이 발생하는데, PDRVLA는 가벼운 물리역학 모듈로 온라인 비디오 생성 없이 행동 생성을 조건화한다.
- 이 모듈은 미래 RGB, 깊이, 광학 흐름(optical flow) 특성을 직접 예측하며, 동결된 사전 학습 비디오 세계 모델을 통해 보조 감시를 받는다.
- 공개 데이터만 사용해 인간-로봇 합성, 부분과제 주석, 체현화 사고 연쇄(ECoT) 주석으로 훈련 데이터를 확대했다.
- 4개 시뮬레이션 벤치마크에서 LIBERO 99.3%, LIBERO-Plus 89.9%, RoboTwin 2.0 93.6%, SimplerEnv 81.5%의 성공률을 달성했다.
- 절제 실험(ablation)으로 세계 모델 감시로 미래 예측이 개선되며, 부분과제 조건화·미래 객체 자세 감시·ECoT 훈련이 행동 성공에 미치는 영향을 분석했다.