다중 매체 검색 결과를 선택적으로 압축하는 CANOPY
원제 CANOPY: Adaptive-Granularity Evidence Compression for Multimodal RAG
추천 19댓글 2
Key Point
멀티모달 검색에서 압축 과정의 세분화 수준을 동적으로 조절함으로써 토큰 사용을 줄이면서도 답변 정확도를 지킬 수 있다는 점이 실무 적용에 중요하다.
핵심 요약
- 멀티모달 RAG는 텍스트, 표, 이미지, 비디오 등 다양한 매체를 검색하는데, 각 항목에서 얼마나 많은 맥락을 유지할지 결정하기 어려운 문제가 있다.
- 기존 압축 방식은 매체별로 다르게 동작하며, 이질적 항목 간에 적응형 세분화로 영역을 선택하는 공통 방식이 부족했다.
- CANOPY는 검색 결과를 계층 구조로 표현하고, 질문에 대해 학습된 인코더로 각 영역의 점수를 매긴 뒤, 부모 상대 정제(parent-relative refinement)로 다양한 세분화 수준의 여러 영역을 선택한다.
- 압축만으로는 애초에 검색되지 않은 증거를 복구할 수 없으므로, 비평 모듈이 증거가 부족하다고 판단하면 추가 검색을 요청하고 새로운 항목을 압축한 후 추가한다.
- 33M개 항목의 이질적 코퍼스에서 5개의 QA 벤치마크를 평가한 결과, CANOPY는 비교 대상 검색 기준선들보다 높은 답변 정확도를 달성했다.
- 5개 벤치마크 중 특히 다단계 추론이 필요한 경우 추가 검색이 주요 정확도 향상을 이끌었다.
- Qwen3-VL-8B-Instruct 모델로 압축 없는 반복 파이프라인과 비교했을 때, CANOPY는 독자 입력 토큰을 14.2~27.7% 감소시키면서 유사한 답변 정확도를 유지한다.