로봇 물리 제어 위해 특화된 제미니 4 아르곤 공개

핵심 요약

• 구글이 로봇공학 전문 대규모 언어 모델 제미니 4 아르곤을 발표했다.
• 아르곤은 ERQA 벤치마크에서 순수 추론으로 87% 점수를 달성해 다른 모든 경쟁 모델을 능가한다.
• 보스턴 다이나믹스 스팟 로봇 제어, 로봇팔 조작 작업, 3D 환경 내 물체 배열 등 로봇공학 전주기에 적용 가능하다.
• 실제 로봇 영상으로부터 디지털 트윈을 자동 구축하고 시뮬레이션 자산을 생성해 실제 물리 상황과 일치하도록 반복 조정한다.
• 인간의 조작 작업 동영상으로부터 대상 물체를 파악하고 76자유도 양손 휴머노이드로 손 궤적을 자동 변환해 뮤조코 물리 엔진에서 검증한다.
• 손으로 그린 스케치 사진으로부터 완전한 장면 및 궤적을 자동 생성하고 GPU 가속 뮤조코 시뮬레이션으로 검증해 블렌더 렌더링을 내보낸다.
• 256초 종이접기 영상에서 4단계 의미 계층을 자동 분석해 전체 목표, 6개 부분목표, 17개 원자 동작, 품질 관리 가중치를 생성한다.
• 12개 구슬을 가진 저울 퍼즐을 양손 로봇으로 구현해 시각적 폐루프로 3회 측정 내 홀로 다른 구슬을 찾는 솔버를 작성한다.
• 반지 정렬 작업에서 동기화된 여러 카메라 피드를 검사해 밀집 가치함수를 생성하고 궤적을 28개 진행 기울기 구간으로 분해한다.
• 단일 실제 이미지로부터 뮤조코 시뮬레이션 쌍둥이를 자동 구축해 4,500개 이상의 도메인 무작위화 에피소드를 생성하고 실제 로봇 성공률을 56%에서 75%로 향상시킨다.
• 6자유도 로봇에서 시행착오 및 자기 반성을 통해 픽앤플레이스 작업의 속도와 정확도를 반복적으로 개선한다.
• 로봇공학 논문과 체크포인트로부터 물리 모델과 폐루프 제어기를 자동 포팅해 뮤조코 웹어셈블리 브라우저 랩에서 검증한다.