MLLM을 활용한 이미지 검색 정확도 향상 방법 제시
원제 Factorized MLLM Embeddings for Composed Image Retrieval
추천 47댓글 2
Key Point
이미지 검색 태스크에서 멀티모달 모델의 합성적 이해를 명시적으로 활용하는 새로운 구조를 제안하며, 계산 효율성을 유지하면서 성능 향상을 이루는 방법론이 실용성 있다.
핵심 요약
- Composed Image Retrieval(CIR)는 참조 이미지와 수정 텍스트를 입력받아 목표 이미지를 검색하는 작업이다.
- 기존 MLLM 기반 방식들은 합성 쿼리를 직접 검색 임베딩으로 매핑하면서 MLLM의 합성적 이해 능력을 제대로 활용하지 못한다.
- 본 연구는 Factorized MLLM Embeddings(FactEmbed)를 제안하여 합성 쿼리 이해와 판별 임베딩 구축을 분리한다.
- FactEmbed는 중간 타겟 이미지 상상(imagination) 목표를 통해 인수분해된 잠재변수들로 의도된 시각적 수정을 시뮬레이션한다.
- 잠재변수들은 검색용 판별 표현을 형성하기 전에 먼저 타겟 의미로 기반을 잡도록 학습된다.
- 인수 수준의 대조 손실 최적화와 MLLM의 더 깊은 어텐션 레이어로의 표현 증류를 통해 모델 전체에 인수분해된 표현을 전파한다.
- 효율적인 추론을 위해 EOS 토큰으로 글로벌 임베딩을 생성하고, 평균 풀링된 인수분해 잠재변수로 후보 목록을 재순위한다.
- 두 방식 모두 같은 순전파 과정에서 생성되어 추가 계산 비용이 거의 없다.
- CIR 벤치마크에서 기존 방법들을 능가하는 성능을 보인다.