로봇 조작 학습, 인간 영상으로도 가능하게
원제 AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation
추천 20댓글 3
Key Point
로봇 학습 데이터의 수집 비용을 크게 낮추고 인간 영상을 직접 활용할 수 있는 방법이 제시되었기 때문에, 로봇 조작 분야에서 실용적인 전환점이 될 수 있다.
핵심 요약
- 로봇 조작을 배우는 데 인간 비디오가 필요한 이유는 로봇 행동 라벨이 있는 영상은 비용이 많고 다양성이 부족하기 때문이다.
- AffordanceWAM은 미래 프레임을 예측하면서 동시에 객체별 상호작용 가능 영역(Scalar Affordance, Affordance Heatmap)을 표현하는 생성 모델이다.
- 비디오 디퓨전 트랜스포머를 기반으로 World Expert와 Action Expert를 따로 설계하고 Masked Joint Self-Attention으로 연결하여 RGB 관찰, 어포던스 필드, 히트맵, 로봇 액션을 함께 예측한다.
- 인간 영상은 미래 세계의 세 가지 스트림을 모두 학습하고, 로봇 궤적만이 액션 감독을 추가로 제공하므로 인간 라벨이나 재타겟팅 없이 전이 학습이 가능하다.
- RoboCasa, CALVIN ABC→D, 실제 로봇 환경에서 RGB 기반 모델과 로봇 데이터만 쓰는 모델을 능가했다.
- 고정된 로봇 학습량 하에서도 어포던스가 라벨된 인간 비디오 데이터가 증가하면 성능이 꾸준히 올랐다.
- 연구팀은 어포던스가 비전-언어-액션 학습과 인간에서 로봇으로의 전이를 위한 효과적인 인터페이스임을 보였다.