로봇이 실험하며 배우는 벤치마크 EmbodiedLab 공개

핵심 요약

• 로봇 에이전트가 물리 법칙 발견이나 목표 달성을 위해 직접 행동하면서 배우는 '행동을 통한 지식습득(act to know)' 문제를 다루는 벤치마크 EmbodiedLab을 개발했다.
• 기존 조작 벤치마크는 목표 상태가 주어졌을 때만 평가하고, 과학 발견 벤치마크는 기호적 행동이나 수치 계산으로만 평가했다면, EmbodiedLab은 로봇이 정량적 과학 실험을 통해 스스로 절차를 선택하고 물리 기반 시뮬레이션 실험실을 조작하는 시나리오다.
• 14개 장비 플랫폼에 걸쳐 5개 학문 분야의 30개 실험으로 구성되어 있으며, 매번 시스템 파라미터를 새로 샘플링하기 때문에 결과를 미리 알 수 없지만 정확히 채점할 수 있다.
• 에이전트는 카메라로 계기를 읽으며 실험 장치를 조작하고, 평가는 에피소드 중 기록된 계기 수치와 작업이 요구하는 물리 상태 양쪽을 모두 확인한다.
• 6개 최신 모델(코딩 에이전트)을 기본 제어, 지각·동작 계획 추가, 조작 스킬 증강 등 세 가지 설정에서 평가했다.
• 기본 제어로는 가장 강력한 에이전트도 절반 이상 성공하지 못했으며, 모든 모델에서 실패의 대부분이 장치와의 상호작용 단계에서 발생했다.
• 조작 스킬은 약한 에이전트에 더 효과가 크지만, 지각과 동작 계획 모듈의 개선만으로는 약한 에이전트의 성능 향상이 제한적이었다.
• 벤치마크와 평가 코드는 깃허브에서 공개했다.