증거 연결로 멀티모달 인식 일반화시키는 EvidenceConnect
원제 Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception
추천 28댓글 3
Key Point
멀티모달 모델의 세부 인식과 공간 이해를 동시에 개선하는 데이터 합성 기법이 소개되면서, VLM 학습의 효율성과 일반화 성능을 어떻게 높일 수 있는지 보여준다.
핵심 요약
- 멀티모달 인식의 핵심은 관련 시각 정보를 식별하고, 엔티티와 바인딩하고, 관계를 회복해 답을 구성하는 '증거 연결' 능력이다.
- EvidenceConnect는 한 이미지 내 관련 영역의 줌 뷰를 활용해 시각 증거의 비교·집계·체이닝을 요구하는 학습 데이터를 자동 생성한다.
- 데이터 품질 보증을 위해 독립적인 VLM들이 합의한 정답만 유지하고, 영역 제거 테스트로 특정 영역 제거해도 답변이 유지되는 문제를 걸러낸다.
- 생성된 데이터로 RLVR 방식으로 기본 VLM을 학습한 결과물인 Zooming without Zooming v2(ZwZ2)를 개발했다.
- ZwZ2는 특정 벤치마크에 맞춘 데이터 없이도 세부 인식·공간 지각은 물론 구현화된 AI 공간 추론, 멀티모달 장문맥 이해, 멀티모달 에이전트 작업, 일반 시각 추론까지 모두 개선했다.
- 이 결과는 증거 연결 능력 강화가 더 일반화된 멀티모달 인식을 이끌어낸다는 점을 시사한다.