로봇 실시간 제어, 영상 메모리 19초 활용하면 성공률 63→79%

핵심 요약

• 로봇의 실시간 제어에는 충분한 영상 히스토리가 필요하지만, 이를 처리하는 과정에서 지연이 발생한다.
• Long-WAM은 실시간 제어 제약 속에서 인과적 세계-행동 모델의 맥락을 확장하기 위한 모델-시스템 프레임워크이다.
• 핵심 발견: 긴 히스토리에 접근하는 것과 실제로 사용하는 것은 다르며, 비디오 기초 모델이 자기회귀(AR) 방식으로 사전학습될 때 더 큰 이득이 난다.
• 먼저 로봇 및 1인칭 영상에서 행동 레이블 없이 인과적 예측을 학습한 후, 세계-행동 적응 중에 이 히스토리-투-미래 구조를 유지한다.
• RoboCasa GR-1에서 맥락을 0초에서 19.2초로 늘리면 성공률이 63.3%에서 78.7%로 올라가지만, 양방향 사전학습으로는 개선 없다.
• 로봇 도메인 AR 사전학습은 GR-1과 LIBERO-Long에서 최고 성공률을 더 높인다.
• LIBERO-Long, RoboTwin 2.0, DOMINO 등 여러 벤치마크에서 비교 방식 대비 최고 성능을 달성했다.
• 스트리밍 관찰 인코딩, 비동기 실행, 하드웨어 특화 가속으로 RTX 5090, DGX Spark, Jetson AGX Thor 배포 가능하며 미래 예측 없이도 동작한다.
• RTX 5090에서 미래 영상 잠재 예측을 포함한 각 행동 청크 처리에 107.4ms가 소요된다.
• Unitree G1과 YAM 로봇에 실시간 배포하여 동적 조작을 포함한 긴 지평 작업을 지원하며, 동적 컵 스택에서 95% 성공률을 달성한다.
• 이는 Pi0.5와 Fast-WAM이 20회 시도에서 성공하지 못한 작업이다.
• Long-WAM은 메모리를 활용한 실행기로서 복합 작업의 고수준 계획을 보완한다.