자율주행 VLA 모델 AUGUstus, CoT와 확산 생성 통합으로 저지연 구현
원제 AUGUstus: Autonomous Driving VLA Model with Unified Generation and Understanding
추천 10댓글 1
Key Point
자율주행 AI는 지연과 안전성의 트레이드오프를 풀어야 하는데, AUGUstus가 CoT 감독과 저지연 추론을 동시에 구현한 실용적인 해법을 보여주고 있으며 실제 차량 배포까지 달성했습니다.
핵심 요약
- 기존 Vision-Language-Action(VLA) 모델은 두 가지 문제를 가짐: 저지연을 위해 회귀·흐름 기반으로 행동만 생성하면 안전성이 떨어지고, 자동회귀 방식으로 chain-of-thought(CoT)까지 생성하면 지연이 커짐.
- AUGUstus는 확산 기반 행동 생성과 자동회귀 CoT 이해를 하나의 모델로 통합하되, CoT는 행동 생성만 돕도록 설계함.
- 행동을 먼저 생성하고 CoT로 감독하는 구조로, 훈련 때는 CoT 감독을 활용하되 추론 때는 행동 출력만 필요해 저지연을 달성함.
- 공동 CoT 감독으로 VLM의 공간 이해를 공유 표현에 보존하여 더 안전하고 정확한 궤적 생성 가능.
- AUGUstus-GRPO 알고리즘이 행동과 CoT를 함께 최적화해 성능 향상.
- NAVSIMv1에서 94.6 PDMS, NAVSIMv2에서 90.7 EPDMS를 달성하며 점수 모듈 없이 최고 성능 달성.
- nuScenes에서 평균 L2 오류 0.27 m, 평균 충돌률 0.05%로 비교 방법 중 최고 성능.
- 512개 NVIDIA H800 GPU로 약 2일간 학습 후 1,000 km 내부 데이터셋에서 검증, 실제 차량에 배포하여 12 Hz 작동 달성.