VLM이 로봇을 직접 코딩하다, HexaShell의 도전과 한계

핵심 요약

• 비전 언어 모델(VLM) 기반 에이전트가 로봇 조종에서 학습된 정책과 경쟁할 수 있는 수준에 도달했으며, 연구팀은 코딩 에이전트가 로봇을 제어할 때 어디까지 갈 수 있는지 검증하는 HexaShell 시스템을 개발했다.
• HexaShell은 최소한의 인터페이스를 유지하며 에이전트의 명령을 로봇 동작으로만 변환하고, 양팔 로봇을 단일 명령줄로 구동하며 RGB 카메라 3개와 카메라 캘리브레이션 정보를 제공한다.
• 실패 후 에이전트는 로그를 읽고 원인을 파악한 뒤 작은 프로그램(도구)을 작성하거나 수정하며, 이렇게 학습한 내용을 코드로 유지한다.
• 도구는 삼각 측량을 사용해 물체의 위치를 파악하며, 두 카메라가 같은 점을 보면 두 카메라 광선이 만나는 지점이 그 위치이고, 점이 테이블이나 블록 위 같은 알려진 평면 위에 있으면 광선과 평면의 교점이다.
• 헤드 카메라만으로 부족할 때 로봇은 손목 카메라를 움직여 두 번째 시점을 확보한다.
• 도구는 단일 시드의 10개 레이아웃으로만 구축한 뒤 고정하고, 같은 시드의 새로운 10개 레이아웃에서 테스트된다.
• GPT-4o 모델과 중간 수준의 추론 노력을 사용해 RoboDojo 42개 과제 모두에서 평균 39.7%의 성공률과 48.0의 진행 점수를 달성하여 새로운 최고 성능을 기록했다.
• 작업별로 성능의 편차가 크다: 밀기는 92.5% 성공, 메모리 과제는 65.0%이지만 정밀 삽입은 8.3%에 그친다.
• 한계는 추론 능력이 아니라 접촉 제어에 있으며, 에이전트가 실패를 인지하더라도 정확한 동작으로 구현하지 못하는 경우가 대부분이다.
• 개발팀은 지금까지 진화된 도구를 GitHub의 https://github.com/HexaFuture/HexaShell에서 공개했다.