로봇의 기술 조합 학습을 위한 구조적 사전 정보 활용

핵심 요약

• 로봇이 적은 시연으로부터 학습할 때 기술을 재조합해 새 작업을 풀어야 하는 구성적 일반화와, 각 기술이 새로운 상황에서도 작동하는 기술적 일반화 두 가지를 필요로 한다.
• 기존 방식은 기술의 구조 정보가 조합 단계에서 손실되는데, 예를 들어 집기(grasp) 기술이 그리퍼의 상대적 위치에만 의존한다는 정보가 기술 이름이나 명령어 같은 별도 설명에는 담기지 않는다.
• APPL(Agent Priors-guided Policy Learning)은 각 정책의 구조적 사전정보(어떤 요소에 의존하는지)를 조합과 기술 사이의 인터페이스로 활용하는 방법을 제안한다.
• 구성 단계에서는 완전한 시연을 재사용 가능한 기술로 분할하고 각 기술마다 여러 구조적 사전정보를 제안한 뒤, 각 사전정보마다 정책을 훈련 및 검증한다.
• 실행 단계에서는 이들 사전정보 기반 정책 중 하나를 선택해 해당 인터페이스를 통해 조합하여 새 작업 목표를 달성한다.
• MetaWorld와 긴 지평의 ManiSkill 작업에서 APPL은 분포 외 기술 일반화를 개선하고 이전에 본 적 없는 기술 조합을 가능하게 했으며, 인터페이스 정보를 제거하면 성능이 크게 떨어진다.