로봇 시뮬레이터 PrimeSim 공개, 30110시간 데이터로 학습
원제 PrimeSim: A Generalist World Model Simulator from Large-Scale Cross-Embodiment Demonstrations
추천 10댓글 2
Key Point
대규모 크로스-플랫폼 로봇 데이터로 학습한 첫 일반화된 월드 모델이 공개되어, 로봇 제어와 시뮬레이션 연구 진행 속도가 크게 높아질 것으로 예상된다.
핵심 요약
- 로봇용 월드 모델 시뮬레이터 PrimeSim을 공개했으며, 동작 명령을 충실히 따르고 다중 카메라 뷰 일관성을 유지하며 장시간 시뮬레이션을 안정적으로 지원해야 한다는 과제를 해결했다.
- 22개 로봇 플랫폼의 30,110시간 데이터로 미드트레이닝했고, 통합 크로스-임보디먼트 액션 표현과 프레임 정렬 듀얼-패스 컨디셔닝을 도입해 동작 추적 정확도를 개선했다.
- 뷰-어웨어 인터리브드 어텐션 메커니즘을 개발해 명시적 카메라 ID를 사용하며 카메라 간 정보 교환을 유지하면서도 뷰별 표현을 보존한다.
- 빠른-비디오, 느린-메모리 포스트트레이닝 프레임워크로 양방향 비디오 생성기를 효율적인 자동회귀 시뮬레이터로 변환했고, 빠른 인과 생성과 자기-롤아웃 학습, 계층적 시간 메모리로 오류 누적을 완화했다.
- PrimeSim은 초당 10.1 프레임으로 실행되며 강체와 변형 가능한 조작 작업에서 장시간 시뮬레이션도 안정적이고, 미학습 플랫폼으로는 100~200 그래디언트 스텝 내 전이 학습된다.
- WorldSimProbe 5개 스위트 중 4개에서 선도적이고 EWMBench에서 최고 점수를 기록했으나, 세밀한 로컬 보정에서는 다른 모델들에 못 미치며 GRPO 기반 정책 최적화를 지원할 수 있는 충실도를 갖춘다.
- 모델 가중치, 추론 코드, 학습 코드를 공개했다.