Hugging Face 논문AI · 머신러닝

시각 에이전트가 도구 결과를 제대로 쓰도록 학습시키는 방법

원제 Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning

추천 39댓글 3Haozhi Yuan, Handong Li, Yifan Zhang 외
Key Point

시각 에이전트의 도구 사용이 불완전해 학습이 비효율적이던 문제를 해결하는 체계적 접근법으로, 다중 교사 증류학습 분야의 실질적 개선책을 제시한다.

핵심 요약

  • 시각 기반 강화학습 에이전트는 도구가 반환한 관찰 정보를 무시하거나 부실한 행동으로 이후 증류학습에 필요한 증거를 잃는 문제를 겪는다.
  • Reframe은 두 단계의 학습 프레임워크로, 먼저 Ground-Drop-GRPO(GD-GRPO)가 증거 기반 보상과 원본 시각 입력의 확률적 제거를 통해 공간·시간 전문가를 훈련해 근거 있는 증거를 얻고 도구 반환 관찰을 활용하게 한다.
  • 두 번째 단계 Observation-Gated-MOPD(OG-MOPD)는 롤아웃 중 결함 있는 도구 행동을 정준(canonical) 행동으로 교체하고 수정된 관찰에서 증류학습을 재개해 학습 안정성을 높인다.
  • 두 단계는 상호 보완적이며, 도구 반환 관찰에 의존하는 법을 배우면 정책이 관찰 수정으로부터 이득을 얻을 수 있다.
  • 이 방법은 작업별 감독 미세조정 사전학습이 필요하지 않다.
  • 14개의 이미지·비디오 벤치마크에서의 실험 결과 Reframe이 Mix-RL과 기본 MOPD를 능가했으며, 절제 실험에서는 GD-GRPO가 결과 기반 GRPO 대비 관찰 의존도와 도구 활용을 증가시킨다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗