로봇이 시뮬레이션으로 배우는 조작 기술, 한 번의 시연만으로
원제 World In-Context Learning for Agentic Robot Manipulation
추천 56댓글 3
Key Point
한 번의 시연으로 로봇이 50개 이상의 조작 작업을 배울 수 있으며, 기존 학습 방식을 20포인트 이상 앞지르는 새로운 로봇 학습 패러다임입니다.
핵심 요약
- 기존 정책 학습은 네트워크 가중치에 기술을 저장해 학습한 환경에 종속되지만, 인컨텍스트 학습(ICL)은 이 문제를 피합니다.
- 다만 기존 ICL은 다른 장면의 시연이 현재 로봇의 환경 피드백을 제공하지 못해 성능이 낮았습니다.
- 연구팀은 에이전트가 배우는 내용이 시각 외형이 아닌 작업 단계와 객체 역할 같은 의미론적 정보라는 점을 발견했습니다.
- 이를 바탕으로 World In-Context Learning(WICL)을 제안했으며, 한 번의 시연으로 시작해 시뮬레이터에서 작업을 연습하고 피드백을 컨텍스트에 저장합니다.
- RoboScript는 WICL을 구현한 모듈식 인프라로, 시뮬레이션 연습을 통해 작업 메모리를 고정시킨 후 새로운 장면에 배포합니다.
- RoboTwin 2.0의 50개 작업에서 RoboScript는 1회 시연, 경사하강 없이 깨끗한 환경과 무작위 환경 모두에서 평균 83.4% 성공률을 달성했습니다.
- 이는 가장 강력한 학습 정책을 20포인트 이상 상회하는 수치입니다.
- 시각 분포 간 일반화, 성찰을 통한 개선, 기초 모델의 확장성, 교차 구현 메모리 적응을 통한 물리 이중팔 로봇으로의 전이를 보여줍니다.
- 코드는 GitHub에 공개되어 있습니다.