인간 영상에서 로봇 정책 학습, 스펙트럼 분석으로 동작 전이
원제 World Action Learning via Interaction-Centric Spectral Latent Guidance
추천 27댓글 2
Key Point
로봇 학습 데이터 수집 비용을 획기적으로 줄일 수 있는 기술로, 인간 동영상 활용이라는 실질적인 해결책을 제시하고 있다.
핵심 요약
- 로봇 조작 정책 학습에는 대규모 실제 상호작용 데이터가 필요한데, 시연 수집이 비용이 크고 확장이 어렵다는 문제가 있다.
- 1인칭 카메라 영상은 풍부한 인간 상호작용 경험을 담고 있지만, 프레임 재구성으로 추론한 동작이 카메라 움직임 같은 노이즈에 지배당하고 인간과 로봇의 시간 역학이 다르다는 두 가지 어려움이 있다.
- WING(World Action Learning via INteraction-Centric Spectral Latent Guidance) 프레임워크는 1인칭 영상의 상호작용 지식을 로봇 정책으로 전이한다.
- 먼저 관찰자 유도 움직임을 손-물체 상호작용에서 분리하고, 상호작용 중심 요소를 숨겨진 동작으로 증류한다.
- 다음으로 교차-신체 작업 의미론이 천천히 변하는 시간 구조에 집중된다는 점을 이용해, 스펙트럼 영역에서 1인칭 숨겨진 동작과 로봇 동작 간 낮은 주파수 성분을 식별하고 동작 생성을 안내한다.
- LIBERO 벤치마크에서 평균 성공률 99.20%, RoboTwin 2.0에서 93.80%, RoboCasa-GR1에서 57.7%를 달성했으며, 실제 조작 작업 4개에서도 다양한 일반화 조건 하에 우수한 성능을 보였다.
- 상호작용 중심 스펙트럼 안내가 인간 1인칭 영상에서 로봇 제어로 물리적 상호작용 지식을 전이하는 효과적이고 확장 가능한 방법임을 보여준다.