하이브리드 어텐션으로 텍스트-이미지 동시 이해·생성하는 유니스파크
원제 UniSpark: Exploring Hybrid Attention for Multimodal Understanding and Generation
추천 13댓글 3
Key Point
텍스트 생성과 이미지 생성을 동시에 처리하는 통합 모델의 새로운 아키텍처 접근법으로, 다양한 멀티모달 작업에서 하이브리드 어텐션의 효과를 검증한다.
핵심 요약
- UniSpark-9B는 시각 이해와 생성을 위해 하이브리드 어텐션을 조사하는 통합 멀티모달 모델이다.
- 각 브랜치에 약 9B 파라미터를 가진 Mixture-of-Transformer-Experts 백본을 기반으로 하며, 명시적 토큰 상호작용을 위한 전체 어텐션과 컨텍스트 전파를 위한 GatedDeltaNet 선형 어텐션을 결합한다.
- 자동회귀 텍스트 예측과 시각 흐름 매칭이 시각 질문 응답, 텍스트-이미지 생성, 지시 기반 편집, 인터리브 텍스트-이미지 예측을 지원한다.
- 인터리브 생성에서 잡음 있는 시각 타겟은 후속 예측으로부터 격리되고, 깨끗한 시각 표현은 나중 출력을 위한 컨텍스트를 제공한다.
- 블록별 프로토콜이 전체 어텐션 레이어의 어텐션 마스크와 선형 어텐션 레이어의 반복 상태 유지 규칙을 통해 이 구분을 강제한다.
- 훈련 데이터는 1억 5,970만 개의 생성 샘플, 2억 1,340만 개의 이해 샘플, 62만 4,800개의 인터리브 시퀀스로 구성된다.
- 4단계 커리큘럼이 멀티모달 이해와 시각 생성을 함께 학습하여 답변 정확도와 지시 추종을 개선하면서 이미지 합성을 2K로 확장한다.
- UniSpark는 MME-S에서 2470.3점, GenEval에서 0.83점을 기록했으며, 인터리브 이미지 생성, 비디오 합성, 비디오 편집에서의 정성적 예시가 추가로 능력을 입증한다.