로봇 정책 학습의 미래 프레임 예측 성능 개선
원제 Self-Distilling Future Video Representations for World Action Models
추천 37댓글 2
Key Point
미래 프레임 표현을 한 단계로 정확히 예측하는 기술이 로봇의 장기 작업 수행과 인간 시연 영상 학습 성능을 크게 높이기 때문에, 로봇 학습의 실용화를 앞당기는 중요한 진전이다.
핵심 요약
- World Action Models(WAMs)는 사전학습된 비디오 확산 모델의 시공간 정보를 활용해 범용 로봇 정책을 학습하는 방식으로, 최근 버전들은 단일 디노이징 단계에서 추출한 중간 미래 비디오 표현으로 액션 디코더를 조건부로 동작시켜 반복 디노이징 비용을 줄인다.
- 이 설계에서 액션 예측이 미래 표현의 품질에 직접 영향을 받기 때문에, 노이즈로부터 단일 단계로 미래 표현 품질을 높이는 것이 중요하다.
- 논문은 FRED(Future REpresentation learning via self-Distillation with temporal context) 프레임워크를 제시한다.
- FRED는 자기 증류를 사용해 노이즈로부터 미래 표현을 예측하되, 실제 미래 관찰로부터 추출한 표현을 학습 목표로 삼는다.
- 비디오 모델을 과거 관찰에 조건부로 만들어 시간 맥락을 제공함으로써 미래 표현 예측을 개선한다.
- 다양한 실제 로봇 조작 작업에서 FRED는 기존 WAM들을 지속적으로 뛰어넘는다.
- 특히 긴 구간 작업과 도메인 외 작업에서 큰 개선을 보이며, 제로샷 환경 일반화에서도 우수하다.
- 인간-로봇 기술 이전 성능도 크게 향상되어, 로봇 훈련 데이터에는 없고 인간 비디오로만 시연된 작업에서 50.0% 성공률을 기록했다.
- 같은 작업에서 최고 성능의 기존 WAM은 19.4% 성공률이었다.