VLM을 미세조정 없이 네비게이션 학습하는 ZeroVLN
원제 ZeroVLN: Learning to Navigate without Supervised Fine-Tuning of the VLM Brain
추천 22댓글 2
Key Point
VLM을 미세조정하지 않으면서 더 나은 네비게이션 성능을 달성하는 방식이 등장해 기존 접근의 한계를 극복할 가능성을 보여준다.
핵심 요약
- 기존 비전-언어 네비게이션(VLN) 방식은 VLM(비전-언어 모델) 뇌에 학습 가능한 행동 헤드를 붙이고 기하학적 목표 예측을 위해 VLM을 네비게이션 도메인 데이터로 미세조정했으나, 이는 기본 VLM 가중치를 크게 변경하고 일반 시각 능력을 저하시킨다.
- ZeroVLN은 VLM 뇌를 미세조정하지 않고도 효과적인 네비게이션을 달성하는 느린-빠른(slow-fast) 네비게이션 프레임워크다.
- 기하학적 목표 예측 대신 VLM에 의미적 도구 호출 인터페이스를 갖춰 자연언어로 이동 결정을 행동 전문가에게 전달한다.
- 행동 전문가를 먼저 적응시킨 후, 폐루프 강화학습(RL)을 통해 뇌의 이동 결정과 전문가의 연속 실행을 공동으로 개선한다.
- 같은 네비게이션 에피소드로 학습했을 때 ZeroVLN은 표준 VLN-CE(연속 환경) 벤치마크에서 미세조정 기반 계층적 VLN 방식들을 크게 앞도록 하면서 뇌의 가중치 변화는 최소화하고 일반 능력을 대부분 보존한다.
- ZeroVLN은 VLM 뇌의 네비게이션 도메인 미세조정 없이 구현한 첫 느린-빠른 VLN 프레임워크이며, 폐루프 에이전트 RL로 느린 정책과 빠른 정책을 공동 최적화한 첫 사례다.