이미지-텍스트 모델, 속성-객체 연결 약하다
원제 Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models
추천 15댓글 2
Key Point
CLIP, DINOv2 등 대중적인 비전-언어 모델이 기본적인 속성 구분을 못 하는 약점을 드러냈으며, 실제 멀티모달 검색 품질 개선에 직결된다.
핵심 요약
- 비전-언어 모델의 멀티모달 검색에서 핵심은 개념뿐 아니라 속성이 어느 객체에 속하는지 정확히 인코딩하는 것(속성-객체 바인딩)이다.
- 기존 벤치마크는 모달리티 쌍, 객체 개수, 속성 유형이 제한적이어서 모델의 바인딩 능력을 제대로 평가하지 못했다.
- 연구팀은 4가지 이미지-텍스트 모달리티 쌍, 다양한 속성 유형, 최대 10개 객체를 포함하는 SABER 벤치마크를 개발했다.
- SABER로 평가한 결과 CLIP 스타일 듀얼 인코더와 MLLM 기반 임베더 모두 심각한 바인딩 실패를 보였다.
- 멀티모달 이미지 감독은 비효율적이므로 합성 텍스트만으로 속성-객체 바인딩을 학습했다.
- MLLM 기반 임베더를 합성 텍스트 데이터로만 파인튜닝해도 이미지-텍스트 검색과 이미지-이미지 검색 성능이 향상되고 기존 멀티모달 임베딩 성능이 유지된다.
- 최종 모델은 SABER에서 최고 성능을 달성했으며 부정문(negation) 및 인스턴스 검색 벤치마크도 개선했다.