VLA 강화학습, 저랭크 구조로 성능 향상 메커니즘 규명
원제 The Low-Rank Structure of VLA Reinforcement Learning
추천 15댓글 2
Key Point
로봇 비전-언어 모델의 강화학습이 파라미터 공간에서 어떻게 작동하는지 처음으로 명확히 규명했으며, 효율적인 미세조정 전략을 제시해 VLA 모델 개발 방식을 바꿀 수 있다.
핵심 요약
- 비전-언어-액션(VLA) 모델에 강화학습(RL)을 적용하면 파라미터 업데이트가 저랭크 구조를 형성하며, 이는 액션 전문가의 타임스텝 모듈이라는 작은 컴포넌트에 집중된다.
- π₀.₅, GR00T N1.5/N1.6 등 플로우 기반 VLA 모델을 LIBERO, ManiSkill, MetaWorld, CALVIN에서 테스트한 결과, 타임스텝 모듈이 RL 성능 향상의 불균형적으로 큰 부분을 차지한다.
- RL은 타임스텝 모듈을 롤아웃 중 사용되는 이산 노이징 타임스텝에 특화시키며, 이 이산 타임스텝 학습이 저랭크 업데이트의 원인이다.
- 타임스텝 모듈의 출력 중 시프트 벡터가 RL 학습 중 가장 뚜렷하게 변하며, 프로빙 결과 시프트 업데이트 방향이 작업 성공 여부를 강력하게 예측한다(ROC-AUC 최대 99.6%).
- 시프트 업데이트의 기하 구조가 작업 관계를 반영하며, 페어와이즈 유사도가 크로스태스크 전이 패턴과 상관관계를 보인다.
- 시프트 업데이트 방향으로 정책을 스티어링하면 추가 RL 없이도 학습된 정책이 더욱 개선되며, 이는 효율적이고 해석 가능한 VLA 포스트트레이닝 방법을 제시한다.