로봇 팔이 던져진 상자를 받는다 - 시각·반사·전신제어 동시에

핵심 요약

• 인간은 테니스 공 받기, 떨어지는 컵 잡기 같은 일상 동작을 1초 안에 시각과 반사신경으로 처리하지만, 휴머노이드 로봇은 이를 어렵게 느낀다.
• Reflex는 던져진 상자 잡기를 목표로 전신 제어·물체 동역학 예측·시각 인지 세 가지 능력을 단계별로 학습하는 프레임워크다.
• 첫 번째 단계에서는 강화학습으로 상태 기반 전신 잡기 정책을 학습하고, 두 번째는 불완전하고 지연된 관찰에서 움직이는 상자의 동역학을 추론하며, 세 번째는 RGB-D 카메라로부터 직접 동역학을 복원한다.
• 시뮬레이션에서 RGB-D 시각 입력으로 85.7% 성공률을 달성했으며, 정확한 상자 위치 정보가 주어질 때는 87.9%에 도달했다.
• 시간 축 시각 정보가 매우 중요해서, 제거하면 중앙 던지기에서 35.6%포인트, 옆으로 치우친 던지기에서 39.8%포인트 성공률이 떨어진다.
• 실제 Unitree G1 로봇에서는 2.5m 거리 던지기에서 65%, 5m 거리에서 40% 성공률을 기록했으며, 같은 거리에서 인간 포수의 76%, 59% 수준에 도달했다.