행동 라벨 없이 영상에서 로봇 제어 정책 학습하는 NAVA-WAM

핵심 요약

• 세계 행동 모델(world action models)은 미래 시각 동역학과 로봇 행동 예측을 통합하지만, 행동 주석이 달린 로봇 궤적 데이터가 필요해 확장성이 제한된다.
• 관찰만 가능한 일반 영상에는 상호작용 역학에 대한 풍부한 정보가 있지만, 기존 방식은 이를 시각 표현 사전학습 또는 잠재 행동 추론에만 활용했다.
• NAVA-WAM은 행동 라벨 없는 영상에서 직접 행동 정책을 사전학습하는 '원시 행동 사전 학습(native action-prior learning)'을 도입해, 간접적인 표현-제어 전이나 별도의 잠재 행동 모델을 피한다.
• 첫 번째 단계에서 관찰만 가능한 영상으로 사전학습할 때, 미래 영상의 플로우 매칭 신호를 전환 구조의 조인트 어텐션을 통해 Action-DiT에 전파해 행동 관련 사전 지식을 학습한다.
• 두 번째 단계에서 행동 라벨이 있는 시연 데이터로 Action-DiT를 미세조정하면서, 비대칭 어텐션이 시각 분기를 행동 제거 과정에서 분리해 추론 효율을 높인다.
• 광범위한 실험 결과 NAVA-WAM은 분포 내·외 설정 모두에서 기존 방법을 능가했으며, 행동 라벨 효율이 높고 실제 로봇에서도 잘 일반화된다.
• 이는 관찰만 가능한 영상으로부터 행동 정책을 직접 사전학습하는 방식이 효과적이며, 행동 라벨이 없는 로봇 데이터로도 확장 가능함을 보여준다.