로봇 조작에 계층적 미래 예측을 더하다

핵심 요약

• 로봇 조작 작업을 위한 Vision-Language-Action(VLA) 모델이 시각 인식, 언어 이해, 행동 생성을 통합해 성과를 내고 있으나, 기존 방법들은 단기 역학과 장기 목표를 따로 모델링하고 미래 예측을 행동 요구사항과의 연관성 없이 사용하고 있다.
• 이를 개선하기 위해 HiFOR은 계층적 미래 예측과 행동 유도 월드 검색을 결합한 프레임워크를 제안한다.
• 계층적 미래 예측은 단기 상태 변화, 의미론적 마일스톤, 최종 목표 상태를 계층적 의존성 마스크(HDM)를 통해 함께 예측해 시간축 간 의존성을 설정한다.
• 구조 인식 잠재 월드 모델링은 미래 잠재 표현을 시간, 시점, 공간 차원으로 정렬해 세밀한 검색을 용이하게 한다.
• 행동 유도 인수분해 월드 검색은 잡음 제거 중 진화하는 행동 표현에 기초해 구조화된 잠재 월드에서 관련 미래 정보를 적응적으로 검색해 행동 생성을 위한 표적화된 지도를 제공한다.
• 2개 시뮬레이션 벤치마크와 6개 실제 로봇 조작 작업에서의 광범위한 실험으로 접근법의 효과성을 입증했다.