로봇 매니퓨레이션을 위한 영상 시뮬레이터 WorldLine 공개

핵심 요약

• 로봇 학습의 물리적 실행 비용을 줄이기 위해 영상 생성 모델 기반 시각 시뮬레이터가 필요한데, 기존 모델은 행동 추종 정확도와 로봇-객체 동역학 일관성이 부족하고 구체적 제어 데이터에 의존한다.
• WorldLine은 행동 기반 시각 시뮬레이터로, 전이 가능한 동역학 학습을 이질적인 행동 그라운딩으로부터 분리한다.
• 10,000시간 이상의 행동 없는 로봇 영상과 10개 이상 로봇 체형에서 2,000시간 이상의 행동 궤적으로 학습한다.
• 이미지 공간 행동 표현이 다양한 로봇 체형 간 공유 제어 인터페이스를 제공하고, 다중 시점 및 실패 강화 학습과 관계형 정규화가 상호작용 민감 예측을 개선한다.
• 로봇 중심 소수 단계 증류가 효율적 인과 롤아웃을 가능하게 하면서 행동 중요 동작을 보존한다.
• 실패 궤적에서 로봇 마스크 IoU를 기준선 대비 0.1626 개선했고, 두 로봇 플랫폼에서 74% 평균 정확도로 궤적 성공 예측한다.
• RoboTwin 학습이나 적응 없이도 롤아웃이 직접 정책 실행 대비 최대 21.4 percentage point 작업 성공률을 높인다.
• 이러한 기능들로 WorldLine은 정책 평가와 구현 계획을 위한 확장 가능하고 효율적인 시각 시뮬레이터가 된다.