이산 토큰으로 시각과 언어 통일하다, dNaViT
원제 dNaViT: Discrete Codes are General-Purpose Visual Representations
추천 34댓글 3
Key Point
언어 모델의 토큰 기반 체계를 시각 영역으로 완전히 옮겨 시각·언어 모델 통합이 가능함을 실증한 연구로, 멀티모달 AI의 아키텍처 통일 방향을 제시한다.
핵심 요약
- 언어 모델의 다음 토큰 예측 패러다임을 시각 모델로 확장하여 시각·언어 모델을 하나의 프레임워크로 통합할 수 있다는 가설에서 출발한 연구다.
- 사전학습된 인코더에 가벼운 잔차 변조와 이중 목적 함수를 적용하여 시각 특성에 재구성 인식 신호를 주입하는 방식을 택했다.
- 군집 곱셈 양자화(grouped product quantization)로 공간 시퀀스 길이를 늘리지 않으면서도 이산 표현 용량을 확장했다.
- 균형잡힌 학습 방식으로 의미 정보와 픽셀 수준 정보를 모두 보존한다.
- dNaViT는 유연한 이산 시각 토큰화기로 작동하여 다양한 다운스트림 작업에서 통합 인코딩을 가능하게 하고 고충실도 이미지 디코딩도 지원한다.
- 시각 이해 벤치마크 12개, 생성 벤치마크 4개, 이미지 편집 벤치마크 1개에서 작업별 베이스라인과 동등하거나 능가하는 성능을 보였다.
- 작은 이산 어휘가 보편적 시각 표현으로 기능하며 완전히 통합된 네이티브 멀티모달 방법론의 잠재력을 열 수 있음을 시사한다.