멀티모달 AI의 연산 비용을 줄이는 '탄력적 시각 표현' 기법 등장

핵심 요약

• 멀티모달 대규모언어모델(MLLM)은 이미지를 균등한 고정 크기의 토큰으로 인코딩해 비용이 크지만, 실제로는 이미지 영역마다 필요한 세부도가 다르다.
• 기존 다운샘플링과 토큰 제거 기법들은 내용에 따른 세밀한 적응, 다양한 작업 지원, 최신 모델 통합에서 한계가 있었다.
• VisionWeave는 이미지 영역별로 세부도를 적응적으로 조절하는 '탄력적 시각 표현 짜기' 능력을 MLLM에 구현했다.
• 게이트 공간 풀러와 세밀도 라우터 두 구성요소로, 세밀한 표현과 거친 표현을 공유 좌표계에서 함께 구성하고 내용에 따라 배분한다.
• 자기증류만으로 Qwen3.5-4B에서 검증하고 Qwen3.8-27B로 확장했으며 총 30,000시간 이상의 A100 GPU 연산을 투입했다.
• Qwen3.8-27B 기반 VisionWeave는 평균 43.0% 토큰을 절감하면서 8개 벤치마크에서 98.9%의 원래 성능을 유지했고, 대조 기준인 토큰 제거는 50% 절감 목표에서 88% 성능만 보였다.
• 다양한 작업, 해상도, 비디오 프레임에서 효율성과 정확도 간 안정적 트레이드오프를 확인했다.
• SGLang 서빙 엔진 배포 시 처리량 2.3배 증가, 평균 첫토큰 생성 시간 54.4% 감소, 토큰당 처리 시간 60.6% 감소를 달성했다.