멀티모달 LLM의 '참조 결함' 진단
원제 Diagnosing the Reference Gap: What Visual Scaffolds Can and Cannot Fix in Multimodal Reasoning
추천 18댓글 3
Key Point
멀티모달 LLM의 추론 실패가 단순한 시각 인식 문제가 아니라 언어-시각 바인딩 결함이라는 새로운 진단은, 향후 모델 개선 방향을 시각 구조(visual scaffolds)로 전환하게 한다.
핵심 요약
- 멀티모달 LLM은 시각 내용을 인식하지만 여러 단계에 걸쳐 신뢰할 수 있게 추론하지 못한다.
- 숫자 세기 같은 작업에서 모델은 모든 객체를 보면서도 어떤 것을 이미 셌는지 추적하지 못하는데, 이는 시각 인식 실패가 아니라 언어와 시각 대상을 연결하지 못하는 '참조 결함'이다.
- 시각 루틴 이론에 기반해, 번호 매김 같은 외부 참조가 이 결함을 좁힐 수 있는지 테스트했다.
- 5가지 시각 추론 작업을 대상으로 장면·질문·답은 동일하게 유지하고 참조만 변경하는 ReGap-Bench 벤치마크를 구축했다.
- 과제에 맞는 참조는 정확도를 최대 25% 향상시켰으나, 부적절한 참조는 거의 효과가 없거나 성능을 오히려 악화했다.
- 연구 결과는 참조 결함이 시각 인식과 구별되는 병목이며, 과제에 맞는 시각 참조 구성이 학습 없이도 멀티모달 추론 능력을 개선하는 방법임을 보였다.