VLA 모델의 지름길 학습 끊기, 섭동 훈련으로

핵심 요약

• Vision-Language-Action(VLA) 정책은 작업 결정에 필요한 핵심 증거를 무시하고도 복잡한 과제를 완료할 수 있는데, 시각 정보, 언어, 동작의 '모달리티 지름길(shortcut)'에 의존하기 때문이다.
• 지름길의 예: 손목 카메라 근처의 물체가 지시된 대상을 밀어낼 수 있고, 훈련 과정에서 동사가 바뀌어도 익숙한 명사가 같은 동작을 유발하며, 빈 손가락이 움직여도 물체를 집어올릴 수 있다.
• 더 많은 훈련 데이터도 작업 성공률은 올리되 이 지름길을 온전히 해결하지 못하는 문제가 있다.
• Perturbot은 작업 관련 증거를 더 유용하게 만들고 지름길만으로는 부족하도록 세 가지 방법을 적용한다: 작업을 보존하면서 손목 카메라 영상에 섭동(perturbation)을 가하고, 의사 결정에 필요한 캡션으로 지시문을 강화하며, 실패한 궤적 구간을 포함해 재라벨링한다.
• GroundingFscore는 정책이 모달리티 지름길에 얼마나 의존하는지 진단하는 오프라인 평가 메트릭이다.
• 작업 성공률은 정책이 개선되었는지 보여주고, GroundingFscore는 정책이 지름길이 아닌 작업 증거에 의존하며 건강하게 확장되는지 밝힌다.
• Perturbot은 추론 과정을 바꾸지 않으면서 훈련 데이터의 특성을 변경해 스케일링을 보완한다.
• 이 프레임워크는 VLA 의사 결정을 지름길 편향에서 분리하되 작업 관련 증거에 대한 반응성은 유지한다.