이산 토큰, 연속 표현 수준의 시각 정보 담을 수 있을까

핵심 요약

• 이산 시각 토큰은 언어와 유사한 이산 형태로 비전을 표현하며, 멀티모달 모델에서 다음 토큰 예측 목표 아래 네이티브 인터페이스를 제공한다.
• 기존 가정과 달리, 양자화 오류 크기와 의미 손실 사이에는 신뢰성 있는 상관관계가 없으며, 오류가 크더라도 더 나은 이해 성능을 낼 수 있다.
• 이산 토큰의 실질적인 비트 예산이 다운스트림 성능의 주요 결정 요소로 나타났으며, 기존 양자화기는 코드북이 증가할수록 의미 정보 기여도가 감소해 포화 현상이 발생한다.
• Factorized Vector Quantization(FVQ)은 시각 특성의 보완적인 고정 차원 뷰를 대칭 병렬 코드북으로 양자화하여 포화 문제를 완화한다.
• 산업 규모 멀티모달 데이터로 훈련한 결과, 기존 이산 표현 모델(UniAR, Emu3-Chat)을 9개 지표 평균 기준으로 각각 22.8%, 59.2% 능가했다.
• 이산 표현 모델이 Qwen3-VL 같은 강력한 연속 표현 모델과 처음으로 경쟁 수준을 달성했으며, 세밀한 OCR 작업 포함 여러 벤치마크에서 동등한 성능을 보였다.
• 이 경쟁력을 가능하게 하는 핵심 원칙과 실용적인 방법론을 제시하여, 이산 시각 표현이 대규모 멀티모달 기초 모델의 기반이 될 가능성을 보여준다.
• 코드와 모델은 GitHub에서 공개된다.