로봇 비전-언어 모델의 실시간 피드백 학습으로 안전성과 성공률 동시 개선
원제 Learning from Runtime Feedback through Failure-Bank Self-Evolution for Vision-Language-Action Models
추천 15댓글 2
Key Point
로봇 작업에서 안전과 효율의 충돌을 근본적으로 해결하는 새로운 학습 방식으로, 기존 실시간 수정 방식의 근본적인 한계를 정책 개선으로 극복한다.
핵심 요약
- 비전-언어-행동(VLA) 모델은 로봇 조작 작업에 폭넓게 일반화되지만, 복잡한 환경에서는 작업 성공과 의도치 않은 접촉의 균형을 맞춰야 한다.
- 기존 실시간 안전 모듈(runtime shield)은 개별 행동을 즉시 수정하지만 정책 자체는 변하지 않아 반복된 불일치가 작업 진행을 막는 문제가 있다.
- 논문은 FailBank라는 4단계 자가 진화 프레임워크를 제시하여 실시간 피드백을 지속적인 정책 개선으로 전환한다.
- 수집 단계에서 제어 기반 안전 필터(CBF) 모듈이 관찰자 역할로 반사실적 수정안을 생성하되 정책이 제어권을 유지한다.
- 결과 인식 선택 단계에서 유용한 제안을 수정 목표로 변환하고 성공한 미수정 행동을 조용한 앵커로 보관하여 제한된 LoRA 업데이트를 수행한다.
- VLA-Arena 벤치마크 두 난이도와 두 가지 VLA 백본에서 평가한 결과, 기본 정책 대비 FailBank는 작업 성공률을 8.5%포인트와 6.9%포인트 각각 향상시키고 누적 비용을 35.6%와 23.8% 각각 감소시켰다.
- 기존 실시간 안전 모듈 대비해서는 작업 성공률을 25.4%포인트와 9.5%포인트 각각 높이면서 유사한 수준의 누적 비용을 유지했다.
- 이는 실시간 피드백이 일시적 행동 제약이 아닌 지속적인 정책 감독 신호로 작용할 수 있음을 보여준다.