로봇 비전-언어 모델에 사용자 맞춤과 안전 기능을 더하다

핵심 요약

• 현재의 일반용 VLA(Vision-Language-Action) 모델은 다양한 로봇 조작을 가능하게 하지만, 실제 로봇 지원에 필요한 사용자 맞춤화와 신뢰성 있는 실행 능력이 부족하다.
• CarryOn은 기존 VLA 정책을 보강하는 이중 루프 시스템으로, 사용자 선호도와 장면 맥락을 유지하면서 상호작용을 통해 지속적으로 업데이트하는 '계획 루프'를 갖춘다.
• 계획 루프는 사용자의 지속적인 선호도를 반영하여 맞춤형 부분 작업을 선택하고, 대화와 변화하는 장면 속에서 실행을 조율한다.
• 실행 루프는 정책 실행을 능동적으로 감시하며, 위험한 접촉 상황을 사전에 차단한다.
• 실행 실패 시 재사용 가능한 제어 기반 복구 기술을 호출하여 작업 진행 상황을 복구하고, 이전 실패 사례로부터 학습하여 기술을 개선한다.
• 실제 로봇과 시뮬레이션 환경에서 CarryOn은 사용자와 장면에 맞는 부분 작업을 수행하며, 안전 미세조정된 VLA의 위반율을 52.6%에서 6.1%로 감소시켰다.
• 복구 성공률은 재사용 기술을 적용했을 때 13%에서 80%로 증가했다.