로봇 제어를 위한 생성형 디노이징 방식 NowWAM 제안
원제 Beyond Future Prediction: Denoising as Generative Adaptation for Robot Control
추천 25댓글 3
Key Point
기존의 영상 예측 기반 로봇 제어 방식에서 벗어나 더 효율적인 디노이징 방식이 비슷하거나 더 나은 성능을 내면서도 계산량은 절반, 추론 속도는 1.8배 빠르다는 점이 실제 로봇 응용에서 의미가 있습니다.
핵심 요약
- 사전학습된 확산 변환기(Diffusion Transformers)는 대규모 이미지·영상 생성 학습을 통해 풍부한 시각·언어 조건 구조를 포착했지만, 이를 로봇 제어에 옮기는 방식은 불명확하고 기존 방법들은 주로 미래 시각 예측을 통해 전이했다.
- 본 논문은 사전학습된 생성형 모델이 행동 학습에 실제로 무엇을 기여하는지, 그리고 제어를 위해 어떻게 적응해야 하는지 묻는다.
- NowWAM은 현재 관찰을 디노이징하고 같은 시각 스트림에서 로봇 행동을 예측하는 미래-목표-자유 방식의 공동 학습 방식으로, 생성 목표를 디노이징 궤적 전체에서 행동 표현에 직접 연결한다.
- 제어된 환경에서는 과거·미래 시각 목표가 비슷한 성능을 내며, 깔끔한 끝점만 사용하면 견고성이 크게 떨어지므로 별도의 미래 목표가 본질적이지 않다는 점을 시사한다.
- LIBERO-Plus에서 NowWAM은 FLUX2-Klein으로 87.7% 성능을 달성했으며 미래-목표 기준선을 6.1포인트 앞지르면서도 학습 시각 토큰을 784에서 392로 줄였다.
- 스텝 시간은 2.85초에서 1.63초로 단축되어 1.8배 속도 향상을 달성했다.
- 텍스트-이미지 생성 백본인 Z-Image만 사용해도 87.8% 성능에 도달하므로, 강력한 제어 적응이 영상 생성이나 이미지 편집 백본에 의존하지 않는다는 것을 보여준다.