동영상 감정 표현 평가하는 자기진화형 보상 체계 EmoReward
원제 EmoReward: Self-Evolving Reward Calibration for Emotional Video Generation RL
추천 22댓글 1
Key Point
감정 표현이 있는 동영상 생성을 평가하려면 기존 고정 보상 방식보다 상황에 맞는 적응형 평가 체계가 필요한데, EmoReward가 학습 과정 자체에서 보상의 신뢰도를 학습해 자동으로 가중치를 조정하는 방법을 제시한다.
핵심 요약
- GRPO가 코드와 수학 같은 검증 가능한 영역에서는 성과를 냈지만, 동영상의 감정 표현 평가는 주관적 미학에 의존해 객관적 평가 기준이 없는 문제가 있었다.
- 기존 방식은 시각 품질, 모션 품질, 텍스트 정렬에 고정된 보상을 사용해 감정 의도를 제대로 포착하지 못했고, 보상 조작 위험이 있으며, RLHF는 확장이 어렵고 개인 미학 차이에 따라 보정이 복잡해진다.
- EmoReward는 실제 학습 중에 수집한 보상 추적에서 증거 신뢰도를 추출해 다음 학습에서 다중 보상 가중치를 적응적으로 조정하는 자기진화 메커니즘을 제안한다.
- 감정 프롬프트에서 구체적 근거 단서를 계획한 후 이질적 신호 원시값으로 생성 동영상을 평가하는 방식으로 작동한다.
- 반사적 보상 게이팅은 위상, 얼굴 신뢰도, 갈등, 미묘함에 대한 인스턴스 수준 게이트로 각 신호의 기여도를 보정하고 활성 집합 위에서 가중치를 정규화해 샘플의 융합 보상을 생성한다.
- RewardMemory는 완료된 학습 실행에서 각 감정 영역별로 각 원시값의 신뢰도를 추정한 뒤 보상 모델을 업데이트하지 않고 경계를 둔 승수로 다음 학습의 융합 가중치를 보정한다.
- HunyuanVideo 1.5에서의 실험은 여러 RL 알고리즘에 걸쳐 개선을 보였으며, SAGE-GRPO 하에서 다른 에이전트 보상 방법과 비교했다.
- SD 3.5와 FLUX에서의 소거 실험과 전이 실험은 시각 생성을 위한 적응형 보상 보정의 효과를 뒷받침한다.