코딩 AI 에이전트의 로봇 개발 능력을 평가하는 벤치마크 RLE-Bench 공개

핵심 요약

• 코딩 에이전트가 로봇 분야로 확장되면서, 기존 벤치마크는 정책이나 컨트롤러 같은 개별 결과물 성능만 측정해 에이전트의 광범위한 엔지니어링 능력을 평가하지 못했다.
• 실제 로봇 개발은 제어를 넘어 여러 컴포넌트의 구축·통합·진단·개선을 자원 제약 속에서 수행하고 다중 모달 피드백으로 판단해야 한다.
• 새로 공개한 RLE-Bench는 대화형 제어, 정책 학습, 인식 및 추정, 기계설계 등 4가지 로봇 개발 워크플로우를 포함한 벤치마크다.
• 각 작업마다 성공률, 훈련된 정책, 구축된 하네스, 설계된 기계 구조 등 다양한 지표로 에이전트가 제출한 산출물을 평가한다.
• 이들 지표를 종합해 RLE Index를 산출하고, 워크플로우별 역량 프로필을 제시해 코딩 에이전트의 능력을 다차원으로 비교할 수 있다.
• 대표 작업에 대한 심층 사례 연구로 에이전트의 현재 능력과 한계, 향후 에이전트 학습을 위한 로봇 작업의 기회를 제시한다.