텍스트-이미지 AI 모델, $21K로 학습 후 공개

핵심 요약

• 2인 연구팀 Linum이 약 2만 1천 달러의 학습 비용으로 훈련한 Pyramid-JiT(P-JiT) 이미지 생성 모델을 Apache 2.0 라이선스로 공개했다.
• 모델은 2.42억 개의 파라미터(학습 시 포함)를 가진 확산 모델이며, 512²에서 1024² 해상도로 단계적으로 학습했고, Qwen 3.5-4B 텍스트 인코더를 사용한다.
• 기존 VAE 기반 압축 대신 픽셀 공간에서 직접 작업하고 32×32 토큰 압축으로 어텐션 컨텍스트 윈도우를 4배 축소했으며, 이전 모델보다 11배 적은 샘플로 수렴한다.
• 아키텍처에는 PixelREPA 정렬과 단계별 이미지 해상도 예측이 포함되어 있으며, 처음 80M 샘플은 높은 노이즈에 집중하고 이후 세밀한 디테일 학습으로 진행하는 커리큘럼을 적용했다.
• 포스트-트레이닝으로 Finite Difference Flow Optimization(FDFO)와 인간 판정을 거쳤으며, 전체 비용은 H100 기준으로 프리트레이닝 $20,348, 포스트트레이닝 $690이다.
• 모델은 텍스트 렌더링, 완전한 신체 표현, 다중 개체, 복잡한 상호작용, 세계 지식에서 제한이 있으며, 2B 디트는 작은 규모 때문에 이 영역들에서 어려움을 겪는다.
• 본격적인 확산 모델 포스트-트레이닝은 아직 초기 단계이며, 자기회귀 LLM과 달리 강력한 우도 추정치에 접근할 수 없어 기법 적용이 어렵다고 팀은 지적했다.
• 창의적 동영상 도구의 민주화를 목표로 하는 Linum은 이번 이미지 모델을 다음 동영상 모델을 향한 검증으로 보고 있으며, 빠르고 저렴한 추론이 반복적 창작 워크플로우를 지원하는 핵심이라 강조했다.