VLM 에이전트, 시각 기반 스킬로 강화 학습
원제 ViSkill: Reinforcing VLM Agents with Evolving Visual-Native Skills
추천 14댓글 2
Key Point
VLM 에이전트가 기하학적 정보를 보존한 시각 기반 스킬을 동적으로 습득·활용하는 새로운 강화 학습 방법으로, 정책과 스킬의 상호 개선 메커니즘이 기존 텍스트 중심 방식의 한계를 직접 해결한다.
핵심 요약
- 기존 스킬 강화 에이전트는 대부분 텍스트 중심으로 공간 레이아웃과 행동-상태 대응을 언어로 변환하면서 기하학적 구조 정보를 손실한다.
- ViSkill은 성공한 상호작용을 시각 정보 중심의 '스킬 카드'로 인코딩하여 VLM 에이전트가 직접 활용하는 방식을 제안한다.
- 검색된 스킬은 추론과 보상 형성을 모두 가이드하고, 성공한 궤적이 다시 스킬 라이브러리로 증류되어 닫힌 피드백 루프를 형성한다.
- 스킬 축적과 정책 개선이 서로 강화하는 구조로, 선택적 콜드스타트 메커니즘이 초기 학습을 가속화한다.
- Sokoban, FrozenLake, PrimitiveSkill 환경에서 ViSkill은 0.89의 성공률을 달성했으며, 콜드스타트 초기화 시 0.91로 상승했다.
- 평가된 모든 상용 및 오픈소스 베이스라인을 능가했고, 표준 PPO보다 빠르게 수렴한다.