360도 파노라마도 구성미 판단해 프레이밍하는 AI
원제 PhotoGuider: Composition-Aware Cropping and 360^{circ} View Framing with Explainable Photographic Assessments
추천 36댓글 1
Key Point
360도 파노라마 이미지의 최적 프레이밍을 자동으로 결정하고 설명해주는 AI 방법이 필요한 3D 콘텐츠 제작과 가상 현실 분야에서 실용적 활용이 가능해진다.
핵심 요약
- 기존 사진 자르기 기법은 이미 있는 이미지에서 어디를 자를지만 결정하지만, 360도 파노라마는 먼저 어느 방향을 봐야 할지 찾아야 한다.
- PhotoGuider는 측정 후 프레이밍 방식으로 구성미 기반 방향 선택과 최종 프레이밍을 모두 해결하는 첫 방법이다.
- Subject, Composition, Aesthetics, Integrity 네 가지 포토그래픽 토큰으로 구성미를 인식하는 특징을 추출하고, 기초 및 태스크 특화 비전 모델을 사용한다.
- 측정된 토큰 평가 조건 하에서 멀티모달 LLM 설명자를 미세조정해 구성미 관련 설명을 생성한다.
- 카메라 파라미터 출력으로 네이티브 리렌더링이 가능하고, 측정 값 기반 설명을 함께 제공한다.
- 2D 자르기 벤치마크 두 곳에서 실제 자르기 결과와의 평균 mIoU에서 최고 성능을 달성했다.
- Poly Haven HDRI 라이브러리의 100개 파노라마 장면으로 한 맹검 순위 평가에서 참가자 120명이 PhotoGuider를 53.2% 사례에서 1위로 순위 매겼고, 비교 방법 두 개는 각각 27.3%, 19.5%였다.