멀티모달 비전 인코더의 세 가지 선택지를 분해하다
원제 Unbundling Multimodal Vision Encoding
추천 16댓글 5
Key Point
멀티모달 모델에서 비전 처리 방식의 세 가지 핵심 선택지(사전 학습 여부, 용량 크기, 융합 위치)를 통제된 비교를 통해 각각의 영향을 명확히 규명해 향후 모델 설계에 실질적인 지표를 제시한다.
핵심 요약
- 멀티모달 언어 모델의 비전 인코더 설계 방식을 통제된 환경에서 비교했다. 기존 모델들은 사전 학습된 인코더, 처음부터 학습된 인코더, 또는 인코더 없는 방식을 각각 사용하는데, 서로 다른 데이터·구조·계산량으로 인해 각 선택의 영향을 정확히 평가하기 어려웠다.
- 연구팀은 모든 모델을 동일한 데이터로 처음부터 학습하고 같은 계산량에서 VQA(시각 질답)와 언어 벤치마크로 비교했다.
- 사전 학습된 비전 사전 지식은 필수가 아니며, 처음부터 함께 학습한 인코더가 별도 학습 단계 없이 사전 학습된 것과 같은 수준이다.
- 중요한 것은 인코더 전용 용량이다. 인코더를 제거한 모델은 백본을 같은 크기로 확대해도 시각 이해 성능이 뒤처진다.
- 비전 용량이 다중 모달 융합 전에 배치될 필요는 없다. 융합 단계에서 초기 백본 레이어에 추가한 비전 전용 모듈이 사전 배치된 인코더와 비슷한 성능을 내면서 첫 토큰 생성 시간을 줄일 수 있다.
- 이 결과는 백본 크기 변화, 인코더 사전 학습을 무료로 간주하는 경우, 사전 학습된 언어 모델에서 시작할 때도 일관되게 나타난다.
- 종합하면 백본과 함께 처음부터 학습되고 백본 내부 초기 위치에 배치된 전용 비전 용량을 갖춘 구조가 가장 효율적이다.