범용 로봇 정책을 대규모로 평가하는 RoboColosseum 프레임워크 공개
원제 RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild
추천 47댓글 2
Key Point
로봇 정책의 범용성과 적응력을 대규모 분산 환경에서 검증한 첫 사례로, 재현 불가능성 문제를 해결하고 실제 환경에서의 로봇 학습 진전을 측정하는 새로운 평가 방법론을 제시한다.
핵심 요약
- 로봇 정책의 범용성을 평가하기 위해 전 세계 124개 사이트의 로컬 로봇 네트워크를 연결한 분산 평가 프레임워크 RoboColosseum을 제시했다.
- 5개의 VLA(시각-언어-행동) 정책과 3개의 최신 AI 에이전트를 SO-101, Franka, Bimanual-YAM, G1 Humanoid 4개 로봇 플랫폼에서 평가했다.
- Open Track에서는 과제별 적응 없이 5,699회의 페어링 비교를 수행했으며, 최신 AI 에이전트들이 특화된 VLA 정책과 대등한 성능을 보였지만 모든 시스템이 개방형 과제에서 안정적 완료에 어려움을 겪었다.
- Fine-tune Track에서는 각 정책이 4개 플랫폼 모두에서 과제당 100개의 시연을 받을 때 20개 과제에 대한 적응 능력을 측정했으며, GR00T N1.7이 SO-101에서, pi0.5가 Franka와 Bimanual-YAM에서 최고 성능을 보였다.
- 정책 순위가 플랫폼별 과제 집합 간 약한 합의를 보였고(Kendall W = 0.24), Open Track 순위가 파인튜닝 후 상대적 성능을 제대로 예측하지 못했으며, 3개 플랫폼 모두에서 상당한 순위 역전이 발생했다.
- G1 Humanoid에서는 모든 정책이 5개 과제를 완료하지 못했지만, 평균 진행률이 정책별로 13.3%에서 23.2%로 다양하게 나타나 부분적 진행 측정이 과제 성공만으로는 놓치는 차이를 드러냈다.
- 시행 누적에 따라 Open Track 순위가 안정화되었으며, 능동형 매칭이 균등 샘플링보다 훨씬 적은 물리적 시행으로 비슷한 순위 합의를 달성했다.