로봇 조작, 인코더 없는 시각-언어 모델로 더 정확하게
원제 From Pixels to Actions - Towards Native Vision-Language-Action Policies
추천 50댓글 1
Key Point
로봇 팔 같은 구체화된 제어 시스템이 최종 표현이 아닌 중간 단계의 시각 신호에서 더 정확한 정보를 얻을 수 있다는 발견은 로봇 공학과 구체화 AI의 아키텍처 설계 원칙을 바꿀 가능성이 있다.
핵심 요약
- 기존 비전-언어-액션 모델은 시각 인코더로 이미지를 먼저 압축한 후 행동 추론을 시작하지만, 조작 작업에 필요한 국소적 기하학·경계·깊이·미묘한 상태 변화 같은 시각 신호들이 손실될 수 있다.
- NEO-VLA는 인코더 없는 구조의 비전-언어-액션 프레임워크로, 이미지를 경량 패치 합성곱 층으로 토큰화한 뒤 백본 전체에서 언어와 함께 진화하도록 설계했다.
- 흐름-매칭 액션 전문가가 백본의 다양한 깊이에서 명령 조건부 시각 표현에 접근할 수 있어, 최종 시각 표현뿐 아니라 계산 계층 전체의 정보를 활용한다.
- 통제된 비교 실험에서 NEO-VLA는 인코더 기반 모델보다 일관되게 더 좋은 성능을 보였고, 완전 미세조정을 해도 격차는 사라지지 않았으며, 단순히 모델 규모를 키워도 성능 차이를 메울 수 없었다.
- 계층별 프로빙 분석 결과, 행동에 중요한 신호들이 최종 시각 표현에 도달하기 훨씬 전에 피크를 이루는 것으로 나타났다.
- 다양한 조작 환경과 분포 변화 상황에서 NEO-VLA는 더 강력하고 견고한 제어를 달성했다.