SVG 생성 평가를 위한 '룰렛' 보상 시스템 제안
원제 RULER: Instance-aware Rubric Rewards for SVG Generation
추천 13댓글 1
Key Point
평가 기준이 없는 개방형 생성 작업에서 인공지능이 보상을 제대로 학습할 수 있는 방법을 제시하며, 이는 코드 생성·이미지 생성 등 다른 창의적 작업의 강화학습에도 적용 가능한 접근방식이다.
핵심 요약
- 자연언어에서 SVG 코드를 생성하는 작업은 객관적 정답이 없어 기존 스칼라 메트릭(CLIP, Aesthetic)으로 평가하기 어렵고, 이들을 강화학습 보상으로 삼으면 보상 해킹이 발생한다.
- RULER는 각 지시문을 6개 항목의 인스턴스별 채점 기준표로 변환하고, 비전-언어 모델이 생성된 SVG를 의미·시각·스타일 축으로 항목별 점수를 매겨 보상을 계산한다.
- 텍스트만으로 채점 기준표를 도출해 SVG 정답 데이터셋이나 인간 선호도 라벨이 필요 없다.
- MMSVG-Illustration와 MMSVG-Icon 데이터셋에서 성능을 0.432/0.395에서 0.693/0.683으로 향상시켰으며, 전문 SVG 생성 모델을 넘어 더 큰 DeepSeek-V3 수준을 달성했다.