텍스트-이미지 생성을 위한 의미 기반 프롬프트 최적화 SCOPE 제안
원제 SCOPE: Semantic Bounded Credit Optimization for Prompt Engineering in Text-to-image Generation
추천 79댓글 2
Key Point
프롬프트의 의미 구조를 직접 활용하는 강화학습 방식으로 텍스트-이미지 생성 품질을 개선하는 새로운 접근법을 제시한다.
핵심 요약
- 강화학습(RL)을 통해 언어모델이 고정된 이미지 생성기를 위해 프롬프트를 개선하는 방법을 제시한다.
- 기존 방식은 이미지에서 단일 신호를 개별 서브워드 토큰에 적용하지만, 객체·수량·속성·관계 등이 의미있는 범위를 형성한다는 점을 간과한다.
- SCOPE는 Group Relative Policy Optimization(GRPO)을 기반으로 업데이트 가중치를 이러한 구조와 정렬시키는 목적함수를 제안한다.
- 재작성기는 개선된 프롬프트와 그 의미론적 분할을 함께 생성하며, 각 범위 내에서 정책 로그확률의 변화를 풀링하여 공유 계수를 도출한다.
- 추가 이미지 렌더링이나 별도의 범위 보상 없이도 작동하며, Qwen-Image·SD3·FLUX.1-dev 전반에서 GeneVal 기준 9.48%, T2I-CompBench 기준 7.62%의 상대 성능 향상을 달성했다.
- 소거 연구를 통해 의미론적 경계와 범위 내 풀링이 모두 성능 향상에 기여함을 확인했으며, 프롬프트 엔지니어링에서 의미 구조가 실질적인 귀납적 편향임을 입증했다.