Hugging Face 논문AI · 머신러닝

코딩 에이전트의 로봇 제어 능력을 평가하는 벤치마크 공개

원제 Embodied First Exam

추천 28댓글 3Kangrui Wang, Qineng Wang, Changhe Chen 외
Key Point

로봇 제어에 코딩 에이전트를 활용하려는 움직임이 커지는 가운데, 현실 세계 제약 하에서 얼마나 신뢰할 수 있는지 평가할 수 있는 거대한 벤치마크가 공개됐기 때문이다.

핵심 요약

  • 로봇 제어에 코딩 에이전트를 활용하는 새로운 패러다임이 등장하면서, 다양한 로봇을 물리 제약 속에서 제어할 수 있는지 평가할 필요가 생겼다.
  • 연구팀은 '임보디드 퍼스트 엑삼(Embodied First Exam)'이라는 평가 프레임워크를 개발해 공개했다.
  • 47개 로봇에 걸쳐 35개 스위트의 1,156개 태스크로 구성되며, 직접 제어·코드 제어·정책 학습 중 에이전트가 자유롭게 선택할 수 있다.
  • 기존 로봇 벤치마크는 비주모터 정책 학습에만 중심을 뒀으나, 이 벤치마크는 물체 집기를 넘어 공간 퍼즐·민첩한 조작·다중 로봇 상호작용·전신 동적 제어를 포함한 9개 신규 스위트를 포함한다.
  • 평가는 세 가지 설정으로 실행되는데, 표준 설정은 센서 정보만 받고 리셋 불가능한 실제 환경을 모방하고, 실시간 변형은 에이전트가 추론하는 동안 환경이 계속 실행되며, 특권 설정은 시뮬레이터 전체 상태 접근과 무제한 리셋을 제공한다.
  • 8개 에이전트 중 가장 강력한 GPT-4o Codex가 456개 핵심 태스크에서 표준 설정 기준 34% 성공률을 달성했으며, 개선 여지가 크다는 것을 보여준다.
  • 연구팀은 실패한 시도에서 문제가 발생한 단계를 표시해 에이전트·설정·단계별로 실패 패턴을 비교 분석했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗