계층적 사각형 구조로 이미지 토큰화와 생성 속도 개선
원제 QuadTok: Quadtree Visual Tokenizer for Autoregressive Image Generation
추천 12댓글 2
Key Point
토큰 효율과 생성 품질의 트레이드오프를 새로운 구조로 해결한 방식이 기존 이미지 생성 모델의 설계 방식을 바꿀 가능성을 보여준다.
핵심 요약
- QuadTok는 쿼드트리 기반 계층적 구조를 사용해 이미지를 시각적 토큰으로 변환하는 새로운 프레임워크이다.
- 기존 2D 격자나 1D 토큰 배열과 달리 동적으로 복잡한 영역에는 높은 해상도, 단순한 영역에는 낮은 해상도를 할당해 표현 용량을 최적화한다.
- ImageNet 학습 모델은 고정된 256 토큰 격자 대비 약 10% 토큰을 절약하며, 지로샷 전이 시 COCO 데이터셋에서도 9% 절약하면서 재구성 충실도는 유지한다.
- 쿼드트리 구조의 자연스러운 인과성으로 자회귀 이미지 생성을 직접 가능하게 한다.
- 947M 크기의 GPT 스타일 생성 모델이 ImageNet 256×256 벤치마크에서 2.08 gFID를 달성한다.
- 공간 상관성을 보존하는 구조 덕분에 추가 학습 없이 공간 제어 이미지 생성도 지원한다.