동영상 검색 효율화 VEDJE, 캐시 크기 4분의 1로 줄이며 정확도 유지
원제 VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
추천 37댓글 2
Key Point
동영상-텍스트 검색 실무에서 메모리와 계산 비용의 병목을 4분의 1 수준으로 줄이면서 검색 정확도는 거의 손실하지 않는 기법을 제시해, 대규모 시스템 배포 시 고려할 만한 최적화 기술을 제공한다.
핵심 요약
- 비슷한 장면에서 다른 사건을 구분해야 하는 동영상 검색의 효율성을 높이는 VEDJE 방법을 제안했다.
- 샘플링된 프레임 내에서 특성을 압축하되 표현은 재사용 가능한 캐시에 분리해서 보관함으로써 쿼리당 처리 비용을 절감한다.
- 특성 변화 예측이 보조 학습 신호로 작용해 쿼리 시간에 추가 계산 없이 압축된 캐시에서의 검색 성능을 향상시킨다.
- MSR-VTT, MSVD, DiDeMo, ActivityNet 네 가지 벤치마크에서 기존 1단계 검색 모델을 능가하는 R@1(상위 1개 순위 내 정답률) 성능을 달성했다.
- MSR-VTT에서 미세조정된 VideoCLIP-XL을 첫 단계로 사용할 때 텍스트-동영상 검색 R@1이 59.8%에 도달했다.
- VideoPrism 구성에서 동영상당 캐시를 12 KiB로 줄여 원래 크기의 4분의 1 수준으로 압축하면서도 텍스트-동영상 회수율을 0.2포인트 범위 내에서 유지할 수 있다.
- 한 번 인코딩된 압축 증거를 새로운 쿼리가 들어올 때마다 재사용하는 방식으로 정확한 동영상 검색을 효율적으로 수행할 수 있음을 보여준다.