확인된 부분만 처리하는 비전-언어 모델, 연산 35% 수준으로 줄인다
원제 Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
추천 64댓글 1
Key Point
비전-언어 모델의 추론 속도를 현격히 높이는 기술로, 대규모 멀티모달 모델을 실제 제품에 적용하려는 개발자들에게 중요한 최적화 방안을 제시한다.
핵심 요약
- Diffusion 기반 비전-언어 모델(DVLM)은 모든 디노이징 단계에서 전체 입력을 처리하는데, 이 중 시각 토큰이 89~97%를 차지해 대부분의 연산이 이미지 재처리에 낭비된다.
- 연구팀이 LLaDA-V 모델의 예측을 검토한 결과, 이미지 제거 시 토큰 언마스킹이 변하는 경우가 평균 22.8%, 최저 7.9%에 불과했다.
- LOWN이라는 새로운 디코딩 방식을 제안했으며, 매 단계마다 이미지 처리 여부와 언마스킹할 토큰 수를 동적으로 결정한다.
- LOWN은 이미지 없이 토큰을 예측하다가, 이 예측이 이전의 이미지 기반 예측과 일치하면 그 결과를 재사용하며, 일치한 토큰 수가 그 단계의 언마스킹 개수를 결정한다.
- 이미지 필요성이 벤치마크마다 다르기 때문에 고정된 스케줄보다는 LOWN의 적응형 결정이 필요하다.
- 학습이나 튜닝 없이 LOWN은 10개 벤치마크에서 LLaDA-V 성능의 99.6%를 유지하면서 평균 35.3%의 디코딩 연산(FLOP)만 사용한다.
- LOWN은 LLaDA 기반의 여러 DVLM에 일반화되며, 시각 토큰 가지치기 방식과 직교적으로 결합 가능하고, 더 빠른 처리를 위해 키-값 캐싱 아래서도 작동한다.