멀티태스크 이미지 생성 모델 'WeLM-Image' 공개, 단일 GPU 최적화
원제 WeLM-Image: A Unified Image Generation Model towards Visual Intelligence
추천 44댓글 1
Key Point
단일 GPU에서 텍스트 생성·이미지 편집·참조 합성을 모두 수행하는 통합 모델이 나왔으며, 기존 오픈소스 경쟁 모델보다 벤치마크에서 앞선 성능을 보여준다.
핵심 요약
- WeLM-Image는 텍스트-이미지 생성, 명령어 기반 편집, 다중 참조 합성을 통합한 멀티모달 기초 모델이다.
- 위챗 대규모 소비자 애플리케이션을 위해 단일 GPU 배포용으로 설계되었으며, 텍스트·참조 이미지·타겟 잠재변수를 하나의 인터리빙 시퀀스로 처리한다.
- Mixture-of-Transformers(MoT) 백본이 공유 어텐션과 독립적 이해·생성 파라미터를 결합하여 최적화 간섭을 제한한다.
- 각 경로에 Mixture-of-Experts(MoE) 모듈을 탑재해 스파스 용량을 제공하며, 저장 파라미터 31.7B 중 토큰당 약 5.4B의 생성 파라미터가 활성화된다.
- 생성 지향 데이터 엔진이 지식 기반 시각 어휘와 대규모 시각 클러스터링을 결합하여 의미론적 커버리지와 편집 작업의 균형을 맞춘다.
- 이중 언어 주석과 검증된 편집 감독으로 1536 픽셀 기본 해상도까지 점진적 학습을 지원한다.
- 루브릭 및 체크리스트 기반 보상으로 생성과 편집을 별도 최적화한 후, 노이즈 인식 정책 증류를 통해 특화된 정책을 통합한다.
- 1536 해상도 모델이 PRISM-Bench, Qwen-Image-Bench, UnicBench에서 평가된 오픈소스 모델 중 1위를 차지했다.
- MeanFlow 기반 소수 스텝 증류로 WeLM-Image-Turbo를 만들었으며, NVIDIA H20 GPU 한 개에서 8개 무지도 스텝으로 1024×1024 이미지를 4.98초에 생성한다.