텍스트와 레이아웃 제어가 강한 오픈소스 이미지 생성 모델 MOSS-Image
원제 MOSS-Image Technical Report
추천 65댓글 3
Key Point
닫힌소스 모델만 가능하던 고품질 텍스트 렌더링과 복잡한 레이아웃 제어를 오픈소스로 구현한 첫 사례로, 텍스트 기반 이미지 생성의 새로운 기준을 제시한다.
핵심 요약
- 5B 규모의 싱글스트림 디퓨전 트랜스포머를 처음부터 학습해 한·영 장문 텍스트 렌더링과 정밀한 레이아웃 제어를 가능하게 했다.
- 사용자의 다양한 요청을 상세한 콘텐츠와 레이아웃 명세로 변환하는 의도 인식 에이전트 프롬프트 향상 모듈을 개발했다.
- 장문 영어·중국어 텍스트 렌더링을 평가하는 LongLongTextBench(LLTB)와 엔드투엔드 레이아웃 생성을 평가하는 RealLayoutArena(RLA)를 새로 도입했다.
- LLTB에서 오픈웨이트 모델 중 최고 성능을 달성했으며 평균 텍스트 커버리지는 96.3%에 달한다.
- RLA 벤치마크의 엔드투엔드 시스템 비교에서는 2위를 차지했으나, 동일하게 향상된 프롬프트를 받은 생성기들 중에서는 1위를 기록했다.
- 모델, 학습 레시피, 평가 프레임워크를 공개해 텍스트-이미지 생성 커뮤니티의 추가 연구를 지원한다.