시각·언어·행동을 통합한 로봇 모델 UniWAM, 다중 작업에서 최고 성능 달성

핵심 요약

• 비전-언어-행동 모델과 월드-액션 모델의 장점을 결합한 통합 아키텍처 UniWAM을 제안했다.
• 물리 추론기, 월드 생성기, 액션 예측기를 하나로 통합해 의미론적 이해, 시각 생성, 행동 예측을 동시에 학습한다.
• 저수준 행동을 자연언어로 표현하고, VQA 데이터·인간 이고센트릭 영상·로봇 시연으로 사전학습한다.
• 인간 데이터와 로봇 데이터의 품질을 위해 엄격한 데이터 정제 및 주석 파이프라인을 개발했다.
• 미래 시각 노이즈 증강으로 정확한 미래 예측 의존도를 낮추고, 이력 조건 플로우 매칭으로 인코딩된 행동 이력을 초기화한다.
• 이러한 설계로 디노이징 단계를 크게 줄이면서도 성능을 유지한다.
• 인분포 성능, 견고성, 일반화, 지시 따르기, 장기 작업 실행 등 다중 평가에서 최고 성능을 달성했다.
• 인간-로봇 협동 사전학습의 로그-선형 스케일링 법칙을 발견해 대규모 혼합 데이터 사전학습의 효과를 입증했다.