로봇 행동 예측 AI, 시각 정보 처리 30배 효율화
원제 BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries
추천 43댓글 3
Key Point
로봇 행동 모델의 계산 효율을 대폭 개선하면서 성능은 유지하는 기술로, 로봇 제어 AI의 실시간성과 비용 효율성을 높이는 방향을 제시한다.
핵심 요약
- 기존 World Action Model(WAM)은 비디오와 행동 전문가를 밀집한 Mixture-of-Transformers 주의 메커니즘으로 결합해 관련 없는 시각 정보 노출과 중복 계산 문제를 야기했다.
- BridgeWAM은 시각·언어·고유감각 정보를 32개의 Latent Bridge Queries(LBQs)를 통해 제한된 공유 잠재 공간으로 집약하는 Bridge-of-Experts 구조를 도입했다.
- 행동 예측 그래디언트가 비디오 전문가를 행동 예측에 적합한 표현으로 유도하고, 행동 전문가는 교차 주의를 통해 작업 관련 정보를 선택적으로 검색한다.
- 전문가 깊이를 분리하고 LBQ를 재사용해 비디오 전문가 30층, 행동 전문가 2층으로 이루어진 5.06B 모델을 구성했다.
- LIBERO 벤치마크에서 98.25% 성공률, LIBERO-Plus에서 72.24% 풀링 성공률을 달성했으며 초경량 행동 헤드로 강한 일반화 능력을 보였다.
- Fast-WAM 대비 단일 샘플 추론 FLOP을 28.72% 감소시켰고 실제 로봇 지연 시간을 77.1ms로 단축해 2.47배 속도 향상을 이뤘다.
- 어블레이션 연구는 공동 표현 적응과 통일 LBQ 조건화의 효과를 입증했으며 섭동 환경에서도 목표 객체와 작업 목표점에 선호적으로 주의를 집중한다.