Hugging Face 논문하드웨어 · 시스템

범용 로봇 정책을 대규모로 평가하는 RoboColosseum 프레임워크 공개

원제 RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild

추천 47댓글 2Tan Sang Nguyen, Yi Ru Wang, Shailesh Shailesh 외
Key Point

로봇 정책의 범용성과 적응력을 대규모 분산 환경에서 검증한 첫 사례로, 재현 불가능성 문제를 해결하고 실제 환경에서의 로봇 학습 진전을 측정하는 새로운 평가 방법론을 제시한다.

핵심 요약

  • 로봇 정책의 범용성을 평가하기 위해 전 세계 124개 사이트의 로컬 로봇 네트워크를 연결한 분산 평가 프레임워크 RoboColosseum을 제시했다.
  • 5개의 VLA(시각-언어-행동) 정책과 3개의 최신 AI 에이전트를 SO-101, Franka, Bimanual-YAM, G1 Humanoid 4개 로봇 플랫폼에서 평가했다.
  • Open Track에서는 과제별 적응 없이 5,699회의 페어링 비교를 수행했으며, 최신 AI 에이전트들이 특화된 VLA 정책과 대등한 성능을 보였지만 모든 시스템이 개방형 과제에서 안정적 완료에 어려움을 겪었다.
  • Fine-tune Track에서는 각 정책이 4개 플랫폼 모두에서 과제당 100개의 시연을 받을 때 20개 과제에 대한 적응 능력을 측정했으며, GR00T N1.7이 SO-101에서, pi0.5가 Franka와 Bimanual-YAM에서 최고 성능을 보였다.
  • 정책 순위가 플랫폼별 과제 집합 간 약한 합의를 보였고(Kendall W = 0.24), Open Track 순위가 파인튜닝 후 상대적 성능을 제대로 예측하지 못했으며, 3개 플랫폼 모두에서 상당한 순위 역전이 발생했다.
  • G1 Humanoid에서는 모든 정책이 5개 과제를 완료하지 못했지만, 평균 진행률이 정책별로 13.3%에서 23.2%로 다양하게 나타나 부분적 진행 측정이 과제 성공만으로는 놓치는 차이를 드러냈다.
  • 시행 누적에 따라 Open Track 순위가 안정화되었으며, 능동형 매칭이 균등 샘플링보다 훨씬 적은 물리적 시행으로 비슷한 순위 합의를 달성했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗