로봇 제어 성능 높이는 'VLA-Δ' 프레임워크 공개
원제 VLA-Δ: Learning Physical State Transition for Vision-Language-Action Models
추천 54댓글 2
Key Point
로봇 제어 분야의 VLA 모델이 물리적 상태 변화를 명시적으로 학습하는 새로운 접근으로 기존 과적합 문제를 해결하고 성능을 향상시킨 점이 중요하다.
핵심 요약
- Vision-language-action(VLA) 모델이 비전-언어 사전학습 지식을 로봇 제어에 적용하지만, 대부분은 관찰과 행동을 직접 매핑하며 중간 물리 상태 변화를 명시적으로 학습하지 않아 관찰-행동 대응에 과적합되는 문제가 있다.
- 기존 방법들은 언어·시각·잠재 공간에서 중간 추론이나 미래 상태 예측을 도입했으나, 실제 물리적 상태 전환 자체는 명시적으로 학습하지 않았다.
- 연구팀은 현재 상태와 미래 상태 간 물리적 변화를 직접 학습 목표로 삼는 VLA-Δ 프레임워크를 제안했다.
- 작업 관련 의미론과 시각적 움직임 변화를 포함한 물리 상태 전환 주석이 있는 대규모 사전학습 데이터셋을 구축하여, 연속 행동 생성에 더 직접적인 지도를 제공한다.
- 추론 시 모델은 현재 관찰에서 추가 계산 오버헤드 없이 직접 행동을 생성한다.
- LIBERO와 RoboTwin 벤치마크에서 최첨단 수준의 성능을 달성했으며, 실제 로봇 실험에서 π_0.5를 능가한다.
- 코드는 GitHub의 ZJU-OmniAI/VLA-Delta 저장소에서 공개되어 있다.