확산 모델의 생성 과정으로 이미지 품질 평가하기

핵심 요약

• Reference-based 이미지 품질 평가(IQA) 지표는 인간이 인식하는 이미지 쌍 간의 지각적 거리를 반영하려 한다.
• 기존 방식은 인간이 주석을 단 Mean Opinion Score(MOS) 데이터에 의존하는데, 대규모 수집이 비용이 크고 인간 판단의 불일치로 인해 노이즈가 많다.
• 2AFC(2-alternative forced choice) 쌍비교 라벨은 신뢰도가 높지만 상대적 비교만 포착한다.
• 연구팀은 인간 주석 없이 이미지 쌍 간의 지각적 거리 라벨을 자동 생성하는 파이프라인을 제안한다.
• 확산 모델의 생성 동학을 활용하여, 초기 타임스텝에서 대략적 구조가 생성되고 후기 타임스텝에서 세부 사항이 생성되는 점을 이용한다.
• 생성 과정에서 일찍 분기되는 이미지는 대략적 구조만 공유해 지각적으로 멀고, 늦게 분기되는 이미지는 세부 사항만 다르다.
• 확산 궤적이 인간 시각 체계와 잘 일치함을 보이고, 이 분기 시점(FoMo, Forking Moment)을 기준 근거 거리 라벨로 사용해 reference-based IQA 지표 학습을 감독한다.
• 임의의 이미지 쌍 간 보편적 비교를 지원하는 점수 라벨은 정보 풍부한 학습 목표를 제공한다.
• 다양한 백본 아키텍처에서의 광범위한 실험이 생성 파이프라인의 유효성을 확인했으며, 여러 벤치마크에서 인간이 주석을 단 데이터셋을 능가한다.