다양한 이미지 생성 모델을 하나로 연결하는 InstantFusion

핵심 요약

• Diffusion/Flow 기반 이미지 생성 모델들이 다양해지면서 서로 다른 아키텍처와 표현방식을 가지게 되었으나, 모델 간 잠재 표현의 정렬과 디노이징 과정의 일관성에 대한 연구는 부족했다.
• 연구팀은 독립적으로 학습된 생성 모델들이 비슷한 잠재 공간 구조를 갖고 있으며, 정렬되지 않은 모델 간에도 중간 상태를 직접 전달하면 기본적인 시각 정보가 유지된다는 흥미로운 호환성을 발견했다.
• 이를 바탕으로 InstantFusion이라는 경량 공유 잠재 인터페이스를 제안했으며, 이는 서로 다른 구조의 이미지 생성 모델들의 디노이징 과정을 연결한다.
• 각 생성 모델 전용 잠재 자동인코더(LAE)를 도입해 중간 상태를 공유 잠재 공간으로 투영하고 목표 생성 모델의 잠재 공간으로 디코딩한다.
• 공유 공간은 동일 이미지에서 추출한 중간 상태들을 같은 노이즈 레벨에서 정렬하는 목표와 지역 디노이징 속도를 동기화하는 목표 두 가지로 제약된다.
• 학습 완료 후 InstantFusion은 모델들을 수정하지 않고 여러 생성 모델 간 디노이징이 자연스럽게 전환되도록 하며, 각 모델 쌍마다 별도 매핑을 필요로 하지 않는다.
• 가속화, 다중 선호도 합성, 크로스 아키텍처 온폴리시 증류, 크로스 모델 합성 등 다양한 응용에서 경쟁력 있는 성능을 입증했다.