모달리티 넘나드는 임베딩 모델, 통합 프레임워크로 재정의

핵심 요약

• 이미지, 텍스트, 음성 등 모달리티별로 분화된 임베딩 모델 연구가 실은 대조 학습, Transformer 아키텍처, 세밀도 전환이라는 공통 원리로 수렴하고 있다고 지적한다.
• 논문은 멀티모달 임베딩의 진화 경로를 세 가지 진행 단계로 정의한다: 커버리지 확대, 비교 가능성 확보, 구성성 달성이다.
• 각 단계를 위한 통합 방안으로 변환(transformation)은 모달리티 간 커버리지를 확대하고, 정렬(alignment)은 서로 다른 모달리티를 비교 가능하게 만든다.
• 궁극의 목표인 조인트 임베딩(joint embedding)은 모든 모달리티를 하나의 공간에 표현해 구성성을 실현한다.
• 그간 검색·추천·분류 등 현대 AI 시스템 대부분이 임베딩 모델에 의존하지만, 학파별·분야별로 고립된 채 발전해왔다고 본다.
• 이 포지션 페이퍼는 임베딩 연구를 가로지르는 최초의 통합적 분석을 제시하며, 향후 모달리티별 고유 과제 해결의 방향을 제시한다.