로봇이 시뮬레이션에서 배운 조작 기술을 현실에서 바로 쓴다
원제 Skill2Real: Agentic Skill Learning for Zero-Shot Sim-to-Real Robot Manipulation
추천 15댓글 1
Key Point
시뮬레이션 학습으로 실제 로봇 조작을 성공시키는 과정이 공개됨에 따라, 로봇 개발의 데이터 수집 비용과 안전 리스크를 크게 줄일 수 있는 경로가 가시화되었다.
핵심 요약
- 로봇이 시뮬레이션과 현실의 차이(시각, 역학, 몸체)를 넘어 기술을 옮기는 문제를 해결하는 Skill2Real 프레임워크를 제시했다.
- 공통 API로 실행 가능한 스킬을 학습하며, Proposer-Verifier-Governor(PVG) 루프가 시뮬레이션 정보로 결과를 진단하고 업데이트를 검증한다.
- 소뇌(Cerebellum)에서 조작 스킬을 먼저 획득한 뒤 뇌(Brain)에서 소뇌를 고정하고 과제 수준의 조합을 학습한다.
- 학습한 스킬과 메모리는 추가 미세조정 없이 실제 로봇에 그대로 옮겨진다.
- GPT-5.6 Sol이 LIBERO-90에서 배운 스킬을 GPT-6 Astra가 평가할 때, LIBERO-Pro Long 성공률이 2.0%에서 56.3%로 올랐으며 Pro Long 데이터 없이 달성했다.
- 독립적인 Robosuite 훈련에서는 Sol과 Opus 5로 7개 과제 평균 성공률이 각각 85.1%, 89.4%에 도달했다.
- Sol으로 훈련한 LIBERO-90 스킬을 고정한 뒤 Astra로 실제 로봇 4개 조작 과제를 수행하니 평균 완료율이 78.75%였다.
- LIBERO-90 훈련 중 Verifier를 제거하면 최종 Pro Long 성공률이 17.3%포인트 하락하고, Governor를 제거하면 13.3%포인트 하락한다.