시각 정보를 고려한 빠른 추론 MMFlash 공개
원제 MMFlash: Faster Speculative Decoding for Vision-Language Models
추천 36댓글 3
Key Point
비전-언어 모델의 추론 속도를 3배 이상 높이는 기술로, 시각 정보 처리가 필요한 AI 애플리케이션의 응답성을 크게 개선할 수 있다.
핵심 요약
- Speculative decoding은 가벼운 초안 모델이 토큰을 제안하고 목표 모델이 병렬로 검증하는 방식으로 생성 속도를 높인다.
- 기존 DFlash 같은 확산 기반 초안 작성기는 텍스트 전용 작업에 주력했고 멀티모달 환경에서의 초안 작성은 충분히 연구되지 않았다.
- 연구팀은 시각 정보가 다음 토큰 분포에 미치는 영향을 KL 발산으로 측정하는 지표를 도입했다.
- 분석 결과 시각 의존도가 낮은 상위 25% 토큰에서는 수용률이 46%였으나, 가장 높은 상위 25%에서는 22%로 떨어져 멀티모달 훈련 후에도 격차가 유지됐다.
- 이를 바탕으로 MMFlash 프레임워크를 제안했는데, 초안 모델이 예측을 잘 못하는 시각 의존도 높은 토큰에 가중치를 적응적으로 부여한다.
- 긴 비디오 입력의 경우 희소 어텐션을 사용해 중복된 어텐션 계산을 줄이고 초안 품질을 개선한다.
- 다양한 멀티모달 벤치마크에서 MMFlash는 손실 없는 생성에서 최대 3.58배 속도 향상을 달성했다.
- EAGLE-3 대비 195.4%, DFlash 대비 17.1% 더 빠르다.