MixTok: 전역 1D와 부분 2D 혼합한 적응형 이미지 토크나이저
원제 MixTok: Adaptive Visual Tokenization with Global 1D Tokens and Sparse 2D Refinement
추천 13댓글 2
Key Point
이미지 토크나이저의 효율성과 품질을 동시에 높이는 새로운 하이브리드 구조가 기존 방식의 트레이드오프를 어떻게 해결하는지 보여준다.
핵심 요약
- 기존 그리드 기반 토크나이저는 이미지 복잡도와 무관하게 모든 위치에 균등하게 토큰을 할당하므로 비효율적이고, 반면 1D 토크나이저는 간결하지만 세부 정보 보존에 약하다.
- 연구팀은 글로벌 정보를 담은 1D 토큰과 세부 개선용 2D 토큰을 결합한 하이브리드 토크나이저 MixTok을 제안했다.
- 콘텐츠 적응 라우터가 우선순위에 따라 후보 위치를 순위 매기고, 목표 토큰 예산 내에서 각 이미지당 2D 토큰 개수를 결정한다.
- 높은 점수를 받은 위치에서 2D 토큰 특징이 1D 표현에서 복원한 공간 특징을 대체하고, 공유 디코더가 혼합 특징으로부터 이미지를 재구성한다.
- ImageNet 256×256에서 평균 약 128개 토큰으로 rFID 1.195, 평균 약 131개 토큰으로 gFID 1.95를 달성했다.