언어 명령에 따라 장면을 탐색하는 로봇, 인터넷 영상으로 학습시키다
원제 ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation
추천 84댓글 2
Key Point
시뮬레이션 데이터의 현실성 문제를 극복하면서도 현실 데이터 수집 비용을 줄이는 새로운 접근법으로, 로봇 네비게이션의 실용성을 높일 수 있는 기술이기 때문이다.
핵심 요약
- 언어로 지정된 목표 위치까지 로봇이 자율 네비게이션하는 작업을 다루는 ScaleNav 프레임워크를 제안했다.
- 기존 방식은 로봇 실제 데이터 수집이 비싸고 시뮬레이션 데이터는 현실 적응 격차(sim-to-real gap)가 있는 문제가 있었다.
- ScaleNav는 인터넷의 1인칭 관점 영상에서 학습하여 카메라가 목표에 접근할 때 시각 정보가 어떻게 변하는지 파악한다.
- 3단계 학습 과정을 거친다: 첫째 인터넷 영상으로 명령 조건 사전학습, 둘째 시뮬레이션 데이터로 실행 가능한 동작 예측 학습, 셋째 모든 요소를 함께 최적화하는 미세조정.
- 벤치마크 평가에서 Single-view OVON 86.5%, HabitatGS-LN 94.9% 성공률을 달성하여 기준 모델들을 능가했다.
- 실제 4족 로봇에 배포하여 평가한 결과 현실 환경에서의 일반화 능력을 입증했다.