확산 모델의 특성을 선별하는 정책 기반 마스킹 기법
원제 Policy-Mask: Budget-Aware Adaptation of Diffusion Features to Discriminative Tasks
추천 51댓글 2
Key Point
차별적 작업에 확산 모델의 특성을 재활용할 때 수동으로 설정하던 추출 규칙을 자동으로 최적화해 다양한 시각 이해 작업에서 성능 향상을 실현한다.
핵심 요약
- 기존에 고정된 규칙으로 추출하던 확산 모델의 중간 특성을 동적으로 선택하는 Policy-Mask 기법을 제시한다.
- 확산 과정의 타임스텝, 네트워크 깊이, 채널 세 가지를 모두 함께 최적화하되, 채널 수 제한(예산)을 고려한다.
- 채널 점수가 선택된 채널 수에 따라 증가하는 문제를 정규화로 해결하여 세 개의 정책이 균형있게 학습되도록 한다.
- 시멘틱 분할·분류·대응 작업에서 고정 추출·특성 필터 방식을 능가하며, ADE20K에서 38.9 mIoU, CIFAR-100 128차원에서 75.4% 정확도, SPair-71k에서 76.3 PCK@0.1을 달성한다.
- 블록 선택이 최종 성능에 영향을 미치며, 256개 채널 유지 시 가장 높은 채널-예산 점수를 기록한다.
- U-Net 기반 모델뿐 아니라 PixArt-Σ, SD3.5 MMDiT 같은 확산 트랜스포머로도 확장 가능하다.