로봇 정책 개선을 위한 세계모델 역추적 기법 Rollback

핵심 요약

• 행동 조건 세계모델을 이용한 정책 개선 연구에서, 기존 방식은 세계모델을 물리 환경의 순방향 시뮬레이터로만 사용했다.
• 새로운 Rollback 기법은 세계모델을 역추적 가능한 반사실적 엔진으로 변환하여, 과거의 결정 지점으로 돌아가 대안 행동을 탐색한다.
• 성공과 실패의 결과를 대비하여 행동 수준의 세밀한 감시 신호를 생성하며, 별도의 가치 모델 없이도 상상을 문제해결에 집중시킨다.
• 분산 세계모델 탐색과 비동기 실제 로봇 실행을 통합한 학습 시스템을 구축하여 자기강화 순환을 형성한다.
• 실제 경험이 세계모델의 역학을 LoRA 파이프라인으로 지속적으로 개선하고, 개선된 모델이 다시 정책 개선을 주도하는 구조다.
• 이를 '시험 시점 물리 그라운딩'이라 부르며, 수작업 시뮬레이터가 갖지 못한 역동적 보정 능력을 제공한다.
• 세 가지 실제 로봇 과제(블록 추출, 공 던지기, 테이블톱 컬링)에서 기존 최강 기준선 대비 절대 성공률을 각각 10.67%, 11.11%, 11.85% 향상시켰다.
• 원격조종 시연으로부터 초기화했음에도 8시간의 학습 후 공 던지기와 테이블톱 컬링에서 평균 인간 플레이어의 성공률을 초과했다.