멀티코드북 디퓨전으로 텍스트·이미지 통합 생성 가능

핵심 요약

• 기존 이미지 생성 모델은 단일 코드북 기반으로 표현력이 제한되거나, 텍스트와 이미지를 서로 다른 최적화 목표로 학습해 모달리티 간 충돌이 발생했다.
• Intern Lumina U2는 각 시각적 위치를 여러 상호보완적 코드북의 코드 그룹으로 표현하는 멀티코드북 디퓨전 언어모델로, 이산 공간에서 고용량 시각 표현과 텍스트를 통합한다.
• 입력 시 각 위치의 임베딩을 연결하고, 출력 시 경량의 멀티코드북 자동회귀 헤드가 각 위치 내 코드를 순차적으로 예측하면서 디퓨전 백본은 모든 위치를 병렬 처리한다.
• AToken의 4D 표현을 기반으로 단일 백본에서 이미지, 비디오, 3D 입력을 모두 지원하며 시각 이해, 이미지 생성, 이미지 편집에서 통합 모델 중 최고 성능을 달성했다.
• Ascend와 NVIDIA 플랫폼 모두에서 작동하는 전체 스택 학습·추론·평가 시스템을 구축해 교차 플랫폼 효과를 검증했다.
• 신뢰도-고원 구간 기반 언마스킹과 드리프트 감지 캐시 갱신을 결합한 안정성 인식 샘플링 전략으로 이미지 생성 추론 속도를 4.45배 단축했다.