AI 에이전트가 로봇 조종사 대신, 저비용 데이터셋 자동 생성
원제 PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data
추천 19댓글 2
Key Point
로봇 학습 데이터 수집 비용을 최소 60% 절감하면서도 성능과 환경 변화에 대한 강건성을 동시에 확보하는 방식을 제시해, 로봇 개발의 경제성 문제를 바꿀 가능성이 있다.
핵심 요약
- 로봇 학습에 필요한 시연 데이터를 수집하려면 보통 조종사가 일일이 조작했는데, 이 과정은 시간과 비용이 많이 들었다.
- 연구팀은 코딩 에이전트가 조종사의 역할을 대신하는 'DataFarm' 시스템을 개발했다.
- 에이전트는 한 번의 캘리브레이션 영상과 작업 설명을 받아 시뮬레이션 내에서 장면, 전문가 제어기, 성공 판별 함수를 자동으로 작성한다.
- 시뮬레이션에서 나온 정확한 로봇 액션을 실제 이미지 기반 비디오 모델로 렌더링해 여러 카메라 시점의 사진 같은 영상으로 변환하고, 독립 심사관이 결과를 검증한 후 배포한다.
- 이렇게 생성한 데이터로 학습한 정책이 조종 데이터로 학습한 정책과 같은 수준(100회 중 93회 대 84회 성공)을 보였고, 예상하지 못한 테이블보 색상과 조명 변화에서 오히려 더 강했다(87회 대 46회).
- 작업 적응은 완전 자동화되며 API 비용 평균 21달러(일회성)와 렌더링 계약 5달러가 필요하고, 이후 에피소드마다 시뮬레이션·렌더링·검토에 평균 0.80달러만 소요된다.
- 한 작업당 3카메라 시점의 1시간 분량 데이터 생성 비용이 107달러로, 중국의 조종 비용 견적 117달러보다 낮고 북미 인건비 290달러보다 훨씬 저렴하다.