다중분광 이미지 해석용 위치-채널 기반 설명 방법
원제 Spectral-Spatial Interpretation
추천 484댓글 2
Key Point
위성·의료영상 등 다중분광 데이터를 다루는 컴퓨터 비전 모델에서 어느 파장대 어느 위치가 결정에 영향을 미치는지 정확히 파악할 수 있게 되면 모델 해석 능력이 한 단계 높아진다.
핵심 요약
- 다중분광 데이터에서 모델이 어느 위치의 어떤 채널을 중시하는지 한 번에 보여주는 SSI(Spectral-Spatial Interpretation) 방법을 제시한다.
- 기존 방식은 공간적 히트맵이나 전역 채널 점수만 보여주는데, SSI는 각 위치마다 채널 간 상호작용을 조건부 게임으로 정의하고 샤플리 값을 적용해 위치-채널 기여도 행렬을 생성한다.
- 고정된 주변 맥락 속에서 각 위치의 채널별 중요도를 계산하며, 채널 기여도를 모두 합산하면 그 위치를 기준 이미지로 교체했을 때의 효과와 정확히 일치한다.
- 기존 Owen 방식 계층 분석법과는 달리 외부 공간 연합에 걸쳐 평균화하지 않고 각 위치 내에서 국소적 해석을 제공한다.
- HLS Burn Scar 데이터에서 SSI는 MC-Owen 방식 대비 약 6%의 평가 비용만으로 더 나은 성과를 냈으며, CUB-200·EuroSAT·HLS Burn Scar 세 데이터셋 모두에서 삭제-삽입 곡선 아래 면적(AUC) 지표가 가장 높았다.
- 채널 삭제 성과와 공간 위치 파악도 주석 데이터셋 기준으로 기존 방식들을 앞섰으며, 코드는 GitHub에 공개되어 있다.