고해상도 이미지 생성 가능한 경량 디퓨전 변환기 기법

핵심 요약

• 디퓨전 변환기(DiT)가 학습 해상도를 넘어 이미지를 생성하려면 토큰 수가 급증해 전체 어텐션이 계산 비용이 높아지고, 구조 왜곡과 디테일 저하 문제가 발생한다.
• 균등한 전체 어텐션이 이 문제의 공통 원인인데, 모든 스텝에서 모든 토큰에 주목하면 이차 복잡도가 생기고 학습 범위를 벗어난 상대 거리에 노출되어 모델이 분포에서 벗어난다.
• 어텐션의 유효 수용 범위는 노이즈 제거 과정에서 좁혀지는데, 초반 스텝에서 전역적으로 구조를 형성하고 후반 스텝에서 국소적으로 세부를 정제한다.
• AReA는 학습 없이 노이즈 제거 진행에 따라 수용 범위가 조곡에서 미세로 진화하는 어텐션 메커니즘이다.
• 초반 스텝에서는 다운샘플된 키와 값에 대한 교차 스케일 조곡 어텐션을 적용해 전역 맥락을 포착하고, 후반 스텝에서는 점진적으로 축소되는 윈도우 내에서 국소 어텐션을 적용한다.
• 추가 파라미터나 학습 없이 AReA는 여러 해상도와 모델에 걸쳐 학습 불필요 기존 방식을 능가하면서도 더 빠르고 효율적이다.