멀티모달 AI를 네비게이션 도구와 연결한 로봇 시스템

핵심 요약

• 일반적인 서비스 로봇이 낯선 환경에서 다양한 인간의 요청을 처리할 수 있는 네비게이션 시스템이 필요한 상황에서, 기존 방법들은 멀티모달 대형언어모델(MLLM)을 네비게이션 학습 데이터로 미세조정하면서 새로운 요청과 환경으로의 일반화 능력이 제한된다.
• SuperNav는 MLLM의 일반적 역량을 보존하면서 요청 해석, 장면 이해, 의사결정은 MLLM에 맡기고 움직임 실행은 네비게이션 도구에 위임하는 방식으로 설계되었다.
• 사전학습된 MLLM을 네비게이션별 미세조정 없이 에이전트 하네스(agent harness)로 장비하며, 이 하네스는 Navigation Skills, 물리적 상호작용용 에이전트 도구, 작업 진행률 및 문맥 관리를 지원한다.
• 시각-포인트 인터페이스는 모델이 이미지 상의 목적지를 직접 지정하고 실행 피드백으로부터 의사결정을 수정할 수 있게 함으로써 의사결정과 움직임을 연결한다.
• SuperNav는 인스턴스 수준, 다중 물체, 요청 기반 작업에서 평가된 4개 기준선을 능가하는 성능을 보였다.
• HM3D에서의 카테고리 수준 평가와 실제 사족 로봇에서의 배포를 통해 다양한 환경에서의 적용 가능성을 입증했다.