가우시안 아바타의 흐릿함·왜곡을 확산 모델로 보정
원제 EDGAR: Efficient Diffusion-Driven Gaussian Avatar Refinement via Synthetic Failure
추천 15댓글 2
Key Point
카메라 한 대로 촬영한 비디오나 이미지로 3D 아바타를 만들 때 피할 수 없던 흐릿함과 왜곡을 AI로 자동 보정할 수 있게 되면, 메타버스와 실시간 통신 같은 응용에서 아바타 품질을 크게 높일 수 있다.
핵심 요약
- 단일 이미지나 비디오로 만든 3D 아바타는 기하학과 질감이 불충분해 흐릿함, 늘어남, 시간적 불안정성 같은 결함이 생기는 문제를 다루는 논문이다.
- EDGAR는 조건부 확산 프레임워크로, 신원 정보를 유지하면서 가우시안 아바타의 결함을 고쳐주도록 설계했다.
- 학습을 위해 EDGAR-SET이라는 하이브리드 데이터셋을 만들었는데, 실제 촬영 샘플과 합성 렌더링 샘플을 섞어 열악한 가우시안 아바타 렌더링을 바닥 참값과 참조 이미지와 짝지었다.
- EDGAR는 자체 지도 학습 모델 Sapiens로 추출한 신원 특징을 원스텝 확산 백본에 주입하는 융합 블록으로 결함을 제거하면서 효율성을 유지한다.
- 혼합 전문가(MoE) 구조를 도입해 다양한 종류와 심각도의 열화 현상에 대응할 수 있도록 했다.
- 정제된 다중 시점 렌더링을 의사 목표로 삼아 기저의 가우시안 아바타를 최적화하면, 최종 결과물을 EDGAR 없이 렌더링할 수 있게 된다.
- 세 가지 가우시안 아바타 방식과 세 가지 평가 조건 조합에서 원본과 SDEdit 스타일 보정 기저선 대비 지각적·재구성 지표가 모두 개선되었다.
- 다중 시점 평가에서 보정된 일관성이 향상되었고, 큰 각도와 입을 벌린 표정 같은 극단 상황에서도 견고성을 보였다.