DiT의 잔차 연결을 재설계해 이미지 생성 성능 향상
원제 Structured Residual Connectivity Matters for Diffusion Transformers
추천 13댓글 1
Key Point
Diffusion Transformer의 성능을 좌우하는 잔차 연결 구조를 근본적으로 개선하는 방법론이 제시되어, 향후 이미지 생성 모델 설계의 새로운 기준이 될 가능성이 있다.
핵심 요약
- Diffusion Transformers(DiT)는 이미지 합성의 확장 가능한 기반 모델이지만, 기존 U-Net 모델의 수작업 스킵 연결과 달리 모든 층의 출력을 단순히 누적하는 단일 잔차 흐름을 사용한다.
- 연구팀은 DiT의 내부 표현을 체계적으로 분석해 초기 층의 특성 재사용과 대칭적 층 가이던스를 중시하는 경향을 발견했다.
- 이를 바탕으로 각 트랜스포머 블록이 이전 층의 중요한 표현을 선택적으로 '주목'하고, 직접적이고 미분 가능한 크로스-뎁스 경로를 통해 공간적·의미적 정보를 동적으로 검색하는 적응형 연결 메커니즘을 제안했다.
- 구조화된 로컬 잔차 연결과 장거리 경로를 통합하는 설계로, 단순 정적 스킵 연결이나 모든 층을 연결하는 방식 대신 선택적 크로스-뎁스 경로를 구현한다.
- 실험 결과 제안 방식은 0.1% 미만의 추가 파라미터만으로 수렴 속도를 1.73배 단축했고, FID 점수와 시각 품질이 크게 향상되었다.
- 강력한 REPA-XL/2 모델의 FID 점수를 가이던스 없이 5.9에서 4.34로 개선했으며, classifier-free 가이던스 적용 시 1.39 FID를 달성했다.
- 연구팀은 적응형 크로스-층 연결이 확장 가능한 생성 모델 개선을 위한 단순하고 효과적인 방향임을 제시한다.