시각 이해와 생성을 하나로 통합한 멀티모달 모델 HiUni
원제 HiUni: Harmonizing Understanding and Generation in Shared Visual Space
추천 25댓글 2
Key Point
시각 이해와 생성을 하나의 공유 백본으로 통합하면서도 각각의 성능을 유지하는 설계 방식이 실제로 작동할 수 있음을 처음 체계적으로 입증한 것으로, 향후 멀티모달 모델의 아키텍처 방향에 영향을 미칠 수 있다.
핵심 요약
- 기존 멀티모달 모델들은 이미지 이해와 생성 작업을 위해 서로 다른 시각 표현이나 백본 구조를 사용하곤 했지만, HiUni는 사전학습된 비전 언어 모델을 그대로 확장해 두 작업을 하나의 프레임워크로 통합하는 방식을 탐색했다.
- HiUni는 같은 언어 정렬 ViT와 조밀한 Transformer 백본을 이해와 생성에 모두 재사용하면서, 작업별 계산을 출력 단계에만 제한해 광범위한 파라미터 공유를 실현했다.
- 픽셀 공간에서의 생성 최적화가 어렵고 사전학습된 ViT의 의미적 추상화로 인해 합성에 필요한 세밀한 공간 정보가 손실되는 두 가지 과제를 발견했다.
- 이를 해결하기 위해 Pixel Diffusion Head로 픽셀 공간 최적화를 직접 지원하고, HiGate 경로로 출력 단계 근처에서 고해상도 공간 정보를 제공했다.
- 광범위한 실험 결과 HiUni는 사전학습 VLM과 유사한 수준의 이해 성능을 유지하면서도 이미지 생성과 편집에서 경쟁 수준의 성능을 달성했다.
- 제어 실험과 분석을 통해 단일 조밀 백본이 작업별 백본 계산 없이도 두 능력을 효과적으로 지원할 수 있음을 보여, 통합 멀티모달 모델링의 더 단순한 경로를 제시했다.