로봇 동작 예측을 25배 빠르게 하는 원스텝 AI 모델
원제 RealtimeWAM: One-Step Asynchronous World Action Models
추천 12댓글 2
Key Point
비디오 생성 기반 로봇 동작 모델의 추론 속도를 극적으로 개선하는 기술이 공개되었으며, 성능 손실 거의 없이 25배 가속을 달성해 실시간 로봇 제어 애플리케이션을 가능하게 한다.
핵심 요약
- World Action Models(WAM)은 비디오 생성 모델에서 시각 정보를 추출해 로봇의 동작 예측을 안내하는데, 기존 효율형 모델도 멀티스텝 디노이징과 전문가 모듈 간 순차 대기로 인해 느렸다.
- RealtimeWAM은 원스텝 동작 생성과 비동기 추론으로 이 두 병목을 해결한다.
- 멀티스텝 반복을 줄이기 위해 Teacher-Anchored Consistency Distillation(TACD)을 제안했는데, 이는 국소 일관성 오차만으로는 정확한 최종 동작을 보장할 수 없다는 문제를 해결하고 동결된 교사 모델의 멀티스텝 롤아웃 결과로 명시적 감독을 추가한다.
- 전문가 간 대기를 없애기 위해 Cross-Expert Wavefront Pipelining(CEWP)을 제안했으며, 이는 비디오 KV 캐시를 블록 단위로 공유해 두 전문가를 겹치게 하고 액션 어텐션이 소비하기 직전에만 동기화한다.
- LIBERO, LIBERO-Plus, RoboTwin 등 다양한 벤치마크와 모델 변형(Fast-WAM, Faster-WAM)에서 성능을 검증했다.
- RealtimeWAM은 성능 손실 1% 미만으로 유지하면서 H100에서 약 25배의 엔드투엔드 속도 향상을 달성했다.
- 코드와 체크포인트는 공개되어 있다.