로봇 조작의 멀티뷰 활용을 높이는 FocusVLA 기법
원제 FocusVLA: Future-Intent Guided Dynamic View Routing for Vision-Language-Action Models
추천 13댓글 2
Key Point
로봇 조작의 정확도가 실무에서 중요한 만큼, 멀티뷰 센서 데이터를 효율적으로 활용하는 방법은 제조 로봇, 협업 로봇 개발에 직결된다.
핵심 요약
- 로봇 조작을 위한 VLA 모델이 시각, 언어, 행동을 통합하지만 기존 모델들이 멀티뷰 이점을 충분히 활용하지 못하고 있다.
- 실험 결과 기존 VLA 모델들이 손목 카메라(wrist view)에 지나치게 의존하면서 조작 단계별로 전역 관점과 국소 관점의 균형을 동적으로 조정하지 못하는 문제를 확인했다.
- 이를 해결하기 위해 FocusVLA를 제안하는데, 이전 행동으로부터 미래 상호작용 의도를 예측하고 이를 행동 생성 중 뷰 라우팅에 활용한다.
- FocusVLA는 전역 관점과 국소 관점을 다양한 작업 단계에서 적응적으로 조합하여 멀티뷰 활용도를 개선한다.
- RoboTwin 2.0 벤치마크에서 FocusVLA는 최강 베이스라인 π0.5 대비 평균 성공률을 10.10 포인트 향상시켰다.
- 실제 환경 평가에서는 성공률을 71.7%에서 85.0%로 끌어올려 π0.5 대비 13.3% 성능 향상을 달성했다.
- FocusVLA의 의도 예측 및 동적 라우팅 모듈은 기존 VLA 프레임워크의 핵심 구조를 수정하지 않고도 통합할 수 있다.