멀티모달 LLM의 정보 검색 메커니즘 분석

핵심 요약

• 멀티모달 대형 언어 모델의 긴 입력에서 관련 증거를 찾는 능력은 '검색 헤드'라는 특정 어텐션 헤드 집합에서 비롯된다.
• 이 연구는 기존 연구의 한계를 확장해 음성-시각 입력 같은 새로운 모달리티를 포함한 18개 모델 체크포인트를 분석했다.
• 같은 답이 음성 또는 화면에 표시되는 쌍을 이루는 입력으로 테스트한 결과, 증거 내용이 같으면 검색 헤드는 새로운 모달리티에서도 희소성을 유지한다.
• 오디오-비주얼 모달리티를 넘나드는 검색 헤드는 전체 헤드의 2% 미만이지만, 이들을 제거하면 문서 이해, 공간 인식, 시각적 수학 능력이 모두 저하된다.
• 연구팀은 검색 헤드를 랭킹 목표로 학습시키는 최적화 방식을 제안했으며, 이를 통해 Qwen3-VL-8B의 MMDocIR 페이지 Recall@1을 6.03포인트 향상시켰다.
• 이 방법은 세 가지 모델 계열 전반에서 문서 검색 성능을 개선했으며, 함수형 어텐션 헤드가 멀티모달 모델의 분석과 개선 모두에 활용될 수 있음을 보여준다.