로봇 정책의 의사결정 순간에 집중하는 검증기 학습법
원제 DiVeR: Decision-Critical Verifier Learning for VLA Test-Time Scaling
추천 10댓글 2
Key Point
테스트 타임 스케일링으로 추가 데이터 없이 로봇 정책의 성능을 높일 수 있는 구체적인 방법을 제시해, 로봇 학습의 데이터 비용 문제를 다루는 실질적 접근이 된다.
핵심 요약
- 로봇의 시각-언어-행동(VLA) 정책 성능을 높이려면 대량의 로봇 데이터가 필요하지만, 실제 데이터 수집 비용이 매우 크다는 문제가 있다.
- 기존 검증기는 여러 행동 후보를 샘플링한 뒤 궤적 전체 결과만 보고 학습해 비효율적이며, 모든 상태를 동등하게 취급한다.
- 실제로는 많은 상태에서 행동 선택지가 비슷해 판단 신호가 약하지만, 소수의 결정 임계 상태에서만 행동 선택이 나중 결과에 큰 영향을 미친다.
- DiVeR은 샘플링된 행동 표현의 산포(분산)를 통해 각 상태의 의사결정 중요도를 추정하고, 그 신호로 중요한 상태에 가중치를 부여해 검증기 학습을 최적화한다.
- 단계별 라벨링이나 추가 환경 상호작용 없이 기존 궤적 데이터만으로 작동한다.
- LIBERO, RoboCasa, Franka Research 3 로봇 실제 실험에서 DiVeR은 더 효과적인 행동 선택을 통해 과제 성공률을 일관되게 높였고, 검증기 추론 오버헤드는 무시할 수준이다.