극도로 압축된 토큰으로 빠른 이미지 생성, 32배 압축에도 품질 유지
원제 G-STAR: Group-Scaled Token Capacity for Deeply Compressed Autoregressive Generation
추천 45댓글 3
Key Point
극도로 압축된 토큰으로도 이미지 생성 품질을 유지하면서 20배 빠른 속도를 달성해, 대규모 시각 생성 모델의 실용적 배포 가능성을 크게 높였다.
핵심 요약
- 이산 자기회귀 모델은 토큰 수를 줄이면 생성 속도는 빨라지지만 표현 품질이 떨어지는 근본적 트레이드오프에 직면해 있다.
- 연구팀은 곱셈 양자화 기반으로, 고정된 정보량 예산에서 그룹 크기가 공간 압축 비율의 제곱에 비례해야 한다는 원리를 도출했다.
- 이를 토대로 G-STAR이라는 공간-그룹 동시 스케일링 프레임워크를 제안하여 32배, 심지어 64배 압축도 가능하게 하면서 재구성·이해·생성 성능을 보존한다.
- 더 큰 그룹 크기는 그룹 내 의존성을 늘리므로, 추론 지연과 생성 품질에 미치는 영향을 분석하고 반-자기회귀 디코더를 도입해 병렬 특성 계산과 경량 인과 모델링을 결합했다.
- GenEval, DPG-Bench, PRISM, LongText-Bench, Qwen-Image-Bench 등 5개 벤치마크에서 주요 모델과 경쟁 수준의 성능을 달성했다.
- 1024×1024 해상도에서 기존 이산 자기회귀 모델 대비 20배 속도 향상을 이루며, NVIDIA H200 단일 GPU에서 이미지당 2.5초에 생성한다.