텍스트-이미지 모델의 보상 조합 방식으로 생성 품질 향상
원제 Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards
추천 29댓글 2
Key Point
선호도와 규칙 기반 보상을 조합하는 방식으로 최신 텍스트-이미지 생성 모델의 사후 학습 효율을 크게 개선하는 실질적 방법론을 제시한다.
핵심 요약
- 기존 텍스트-이미지 생성 모델은 시각 품질이 뛰어나지만, 단일 보상 신호로는 인간의 선호도 전체를 포착할 수 없어 학습 후 개선이 어렵다.
- 이 연구는 상호 보완적인 두 가지 보상 신호를 조합하는 사후 학습 방식을 제안했다: Bradley-Terry 목적함수로 인간의 미적·지각적 선호를 학습한 선호도 보상과, 프롬프트 충실도와 다른 바람직한 속성을 명시적으로 평가하는 규칙 기반 보상이다.
- 단순 가중 평균은 최적 아래의 학습 거동을 초래하므로, 선호도 최적화와 규칙 만족을 더 효과적으로 균형 잡는 새로운 보상 조합 전략을 제시했다.
- Arena 텍스트-이미지 순위표에서 RL 학습된 Flux2dev는 기본 모델 대비 일로 등급 69점 상승, 사후 학습된 Ideogram-4는 모든 오픈소스 모델을 능가해 일로 1223.5를 달성했다.
- 재현 가능한 연구를 지원하기 위해 전체 규모 학습의 일부 개선을 복원할 수 있는 1K 크기의 학습 데이터셋 Arena-T2I-Training을 공개했다.