휴머노이드 로봇의 도구 선택과 사용 능력 평가하는 벤치마크 공개
원제 HumanoidToolBench: Benchmarking Humanoid Tool Use from Selection to Mobile Execution
추천 18댓글 1
Key Point
휴머노이드 로봇이 도구 사용 능력을 갖추는 것은 제한된 신체 능력을 극복하는 핵심이며, 이를 체계적으로 평가할 수 있는 벤치마크와 대규모 데이터셋의 공개는 로봇 학습 연구를 한 단계 진전시킬 수 있다.
핵심 요약
- 휴머노이드 로봇이 도구를 사용해 작업을 수행하려면 적절한 도구를 선택하고, 조작과 필요시 이동을 조율해야 한다.
- 기존 벤치마크는 휴머노이드의 이들 능력을 함께 평가하지 않으므로, HumanoidToolBench라는 새로운 벤치마크를 소개한다.
- 이 벤치마크는 18개 작업, 3가지 시나리오, 3단계 실행 레벨, 2가지 도구 세트 모드를 포함한다.
- ToolBook이라는 데이터셋도 함께 공개되며, 시뮬레이션과 실제 Unitree G1 로봇에서 수집한 3.1k개 시연을 담고 있다.
- 시뮬레이션에서 7개, 실제 로봇에서 3개 정책을 평가한 결과 도구 선택과 작업 완료 사이에 상당한 격차가 드러났다.
- GR00T N1.7 모델은 본적 없는 도구에 대한 선택 정확도가 낮고, 무관한 지시 하에서도 작업을 계속 수행하는 경향을 보인다.
- 코드와 데이터는 https://snu-pi.github.io/HumanoidToolBench/에서 공개된다.