이미지 생성 Transformer의 효율성을 높이는 다중 슬롯 토크나이제이션
원제 Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
추천 36댓글 6
Key Point
이미지 생성 모델의 전역 어텐션 비용과 생성 품질 간 트레이드오프를 주파수 대역 분리로 해결하는 새로운 접근으로, 적은 계산량에서 고품질 이미지를 생성할 수 있는 구조를 제시한다.
핵심 요약
- 픽셀 공간 생성 Transformer는 이미지 패치마다 하나의 토큰을 사용하므로 세부 디테일을 캡처하려면 토큰 수가 증가해 전역 어텐션 비용이 커진다.
- 저주파 구조는 전역 정보 교환이 필요하지만 고주파 디테일은 지역적으로만 모델링되면 되는 점에 착안해 SpecSlot을 제안했다.
- SpecSlot은 각 공간 앵커를 여러 슬롯으로 확장하고 각 슬롯에 서로 겹치지 않는 DCT 계수 대역을 할당한다.
- 가장 저주파 슬롯만 전역 어텐션에 참여하고 모든 슬롯은 지역적으로 상호작용하므로, 전역 시퀀스 길이를 늘리지 않으면서 스펙트럼 디테일을 증가시킬 수 있다.
- 공간 헤드가 스펙트럼 예측에 지역적 보정을 추가하며, 생성 상태·목표·손실은 픽셀 공간에 유지된다.
- ImageNet-256에서 SpecSlot은 동일 FLOPs의 JiT 제어군과 비슷한 최종 FID를 더 빠르게 달성했다.
- ImageNet-512에서는 3.9% 더 적은 FLOPs로 제어군 대비 FID를 2.84 개선했으며, JiT-B/16 대비 38.2% 낮은 비용으로 FID 0.69 이내에 도달했다.
- 텍스트-투-이미지 생성에서 SpecSlot은 40.6% 낮은 순전파 비용으로 JiT-B/8을 DPG-Bench에서 1.06 초과했다.