Hugging Face 논문AI · 머신러닝

하이브리드 어텐션으로 텍스트-이미지 동시 이해·생성하는 유니스파크

원제 UniSpark: Exploring Hybrid Attention for Multimodal Understanding and Generation

추천 13댓글 3Jiancheng Pan, Yuzheng Liu, Hengyuan Cao 외
Key Point

텍스트 생성과 이미지 생성을 동시에 처리하는 통합 모델의 새로운 아키텍처 접근법으로, 다양한 멀티모달 작업에서 하이브리드 어텐션의 효과를 검증한다.

핵심 요약

  • UniSpark-9B는 시각 이해와 생성을 위해 하이브리드 어텐션을 조사하는 통합 멀티모달 모델이다.
  • 각 브랜치에 약 9B 파라미터를 가진 Mixture-of-Transformer-Experts 백본을 기반으로 하며, 명시적 토큰 상호작용을 위한 전체 어텐션과 컨텍스트 전파를 위한 GatedDeltaNet 선형 어텐션을 결합한다.
  • 자동회귀 텍스트 예측과 시각 흐름 매칭이 시각 질문 응답, 텍스트-이미지 생성, 지시 기반 편집, 인터리브 텍스트-이미지 예측을 지원한다.
  • 인터리브 생성에서 잡음 있는 시각 타겟은 후속 예측으로부터 격리되고, 깨끗한 시각 표현은 나중 출력을 위한 컨텍스트를 제공한다.
  • 블록별 프로토콜이 전체 어텐션 레이어의 어텐션 마스크와 선형 어텐션 레이어의 반복 상태 유지 규칙을 통해 이 구분을 강제한다.
  • 훈련 데이터는 1억 5,970만 개의 생성 샘플, 2억 1,340만 개의 이해 샘플, 62만 4,800개의 인터리브 시퀀스로 구성된다.
  • 4단계 커리큘럼이 멀티모달 이해와 시각 생성을 함께 학습하여 답변 정확도와 지시 추종을 개선하면서 이미지 합성을 2K로 확장한다.
  • UniSpark는 MME-S에서 2470.3점, GenEval에서 0.83점을 기록했으며, 인터리브 이미지 생성, 비디오 합성, 비디오 편집에서의 정성적 예시가 추가로 능력을 입증한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗