멀티모달 AI가 이미지 정보를 활용한 검색에서 부족해
Key Point
멀티모달 AI의 핵심 약점인 시각 정보 통합 능력을 체계적으로 측정할 벤치마크가 생겼고, 현재 최고 모델도 26.47%의 낮은 성공률로 개선의 여지가 큼을 보여준다.
핵심 요약
- 멀티모달 에이전트는 웹과 이미지 도구를 사용해 내부 지식을 초과하는 질문에 답하지만, 대부분의 검색 작업은 이미지로 초기 항목만 식별한 후 텍스트 검색에 의존한다.
- 이미지, 객체, 검색 단계 간 정보 연결 방식을 평가하기 위해 시각 맥락 관리에 초점을 맞혔다.
- 시각 맥락 관리란 검색 과정에서 시각 정보를 조직하고 활용하며 다른 발견과 연결하는 것이다.