한 번의 생성으로 실시간 제어, OSWAM 발표
원제 OSWAM: An Effective World Action Model with One-Step Action Generation
추천 23댓글 1
Key Point
자율주행과 로봇 제어의 실시간 의사결정이 필요한 상황에서 한 단계의 빠른 생성으로 충분한 품질을 내는 새로운 방식이 제시됨에 따라 실제 배포 가능성이 크게 높아졌다.
핵심 요약
- 직접 정책 기반 월드 액션 모델(WAM)은 자율주행과 구체화된 제어에서 미래 시각 예측 없이 행동 생성을 할 수 있지만, 경쟁력 있는 품질을 위해 수십 개의 노이즈 제거 단계가 필요해 실시간 배포를 어렵게 한다.
- 노이즈 제거 단계를 단순히 줄이면 비선형 다단계 궤적이 무너져 행동 품질이 크게 저하된다.
- 이 문제를 해결하기 위해 연구진은 한 단계의 확산만으로 고품질 행동을 생성하는 OSWAM(One-Step World Action Model)을 제안했다.
- 기존 방식은 무작위 노이즈 초기화로 인해 일관된 행동 수열을 복구하기 위해 반복적 노이즈 제거가 필요한데, OSWAM은 물리적 사전 정보와 행동-조건 표현을 제공하는 '상상 토큰'으로 확산 과정을 초기화한다.
- 미래 조건화를 포함한 특권 정보 증류를 추가로 도입해 미래 인식 행동 생성을 강화했다.
- 자율주행과 구체화된 제어 실험에서 OSWAM은 수십 단계가 필요한 기존 WAM 및 Joint-WAM과 비슷하거나 더 나은 결과를 달성했다.
- 기존 직접 정책 WAM 기준 대비 약 3배 속도 향상을 이루었으며, NVIDIA RTX 5090 GPU에서 컴파일된 추론 실행 시 40ms의 낮은 지연시간으로 실시간 처리를 지원한다.