멀티모달 AI, 이미지·영상에서 위치 지정과 설명을 동시에 학습하다
원제 Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding
추천 10댓글 2
Key Point
기존의 분리된 학습 방식에서 벗어나 이미지와 영상의 위치 정렬과 설명을 통합으로 개선하는 새로운 강화학습 접근법이 제시되었으며, 실제 성능 향상으로 검증되었다.
핵심 요약
- 이미지와 영상의 특정 영역을 이해하고 언어로 정확히 찾아내는 미세한 멀티모달 이해 능력이 필요하며, 기존 방식은 두 작업을 따로 학습했다.
- CycleGRPO라는 강화학습 프레임워크를 제시하는데, 한 번에 두 방향(영역→설명, 설명→영역)을 배우는 순환 구조로 작동한다.
- 모델이 영역에 대한 후보 설명을 생성하고, 각 설명을 역으로 정렬해 원래 영역을 재구성한 뒤, 재구성 겹침을 보상으로 사용한다.
- 이 순환 원리는 이미지 마스크·상자부터 영상의 시간 간격과 타임스탬프 공간 증거까지 확장되며, 외부 언어모델 판정 없이 작동한다.
- 영상에서는 모델이 목표 이벤트를 유사한 반복 발생과 구별하는 설명을 생성하도록 격려한다.
- 새로운 평가 벤치마크 DOVE(시간적 구별성을 검증하는 인간 검증 대조학습 데이터세트)를 소개한다.
- 이미지 작업에서 SAMTok의 gIoU를 GroundingSuite에서 57.5%에서 68.2%로, GRES에서 71.2%에서 78.7%로 향상시켰다.
- 영상 작업에서 Charades에서 51.9% tIoU, DOVE에서 33.3% Temporal Evidence Coverage를 달성했으며, Qwen3-VL 초기값은 각각 45.6%와 14.8%였다.
- 영역-텍스트 순환 일관성을 멀티모달 이해와 정렬 작업의 일반적 자체 평가 원칙으로 수립했다.