로봇 움직임 미리보기로 장시간 작업 계획하는 ProWAM

핵심 요약

• 로봇 제어용 월드 액션 모델(WAM)은 초기 관찰과 명령으로부터 시각적 역학과 행동을 동시에 예측하지만, 긴 시간 범위의 예측에서 어려움을 겪는다.
• 기존 WAM은 전체 비디오를 생성하지 않고 단일 미래 프레임만 예측하는 방식도 있으나, 목표 달성 과정을 안내하지 못한다는 한계가 있다.
• ProWAM은 행동과 순서가 정해진 희소 시각적 서브골(중간 목표)의 시퀀스를 함께 예측해, 작업 실행 중 행동 생성을 위한 명시적 시각 안내를 제공한다.
• 서브골 예측은 대규모 행동 없는 비디오로부터 학습 가능하므로, 비디오 백본이 복잡한 시각 계획을 행동 정책에서 분리할 수 있다.
• 효율적인 행동 생성을 위해 ProWAM은 단일 비디오-백본 순전파로 희소 서브골 특성을 캐시하고, 반복적인 전체 비디오 생성을 제거하며 재계획 중 경량 행동 디노이징만 수행한다.
• LIBERO-Plus에서 85.8%, 무작위화 RoboTwin에서 75.7% 달성으로 최강 베이스라인 대비 최대 +35.9% 상대 개선율을 기록했다.
• RoboCasa365 벤치마크에서 48.1% 성공률, 도전적인 Composite-Unseen 분할에서 18.0%를 기록하며 전체 4위를 차지했다.
• 실제 환경 무지학습(zero-shot) 실험에서 미지의 장면에서 70.0% 성공률을 달성해 최강 베이스라인(55.0%) 대비 +15.0포인트(+27.3% 상대 개선율) 상승을 보였다.