계층적 표현 학습으로 이미지 재구성 품질 향상
원제 HiRAE: Hierarchical Representation Autoencoding with Residual Budgets
추천 10댓글 1
Key Point
인코더 계층의 다중 정보를 효율적으로 활용해 이미지 복원 품질을 크게 높인 방법론으로, 복잡한 튜닝 없이 생성 모델과의 호환성을 유지하는 점이 실무적 가치가 있다.
핵심 요약
- 사전학습된 시각 표현은 이미지 생성에는 유용하지만 충실한 복원에 필요한 세부 사항을 완전히 보존하지 못한다.
- 인코더의 중간 계층들은 보완적인 시각 정보를 가지고 있으나 이들을 효과적으로 융합하면 모델링이 어려운 잠재 분포가 생성된다.
- 기존 융합 방식은 계층 선택의 경험적 튜닝이나 단계별 최적화가 필요해 설정 비용과 학습 복잡도가 높다.
- HiRAE는 전체 인코더 계층 구조 위에 계층적 융합 프레임워크를 학습하며, 깊은 표현에 대한 잔차 보정을 학습한다.
- 계층별 norm 제약을 두어 얕은 계층일수록 더 엄격한 예산 제한을 두고, HiRAE-24는 잠재 토큰 수와 채널 차원을 유지한다.
- ImageNet-256에서 재구성 FID를 RAEv2의 0.299에서 0.209로 개선하면서 생성 품질은 경쟁력 있게 유지한다.
- 텍스트-이미지 생성에서 미세조정 전후로 GenEval, DPG-Bench, GenAI-Bench 모두에서 RAEv2보다 정렬 성능이 우수하다.
- 동일한 생성기 학습 및 평가 프로토콜 하에서 미세조정 후 GenEval 점수는 84.86에서 87.70으로 상승한다.