DiffusionART, 확산 모델 강화학습을 12배 빠르게
원제 DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models
추천 243댓글 4
Key Point
확산 모델 강화학습의 GPU 학습 시간을 10배 이상 단축하면서 보상 성과는 더 높이는 기술로, 이미지 및 비디오 생성 모델 최적화의 실무 효율성을 크게 개선한다.
핵심 요약
- 온라인 강화학습(RL)으로 블랙박스 보상 함수를 사용해 확산 모델을 미세조정하는 방식이 최근 주목받고 있으나, 역방향 프로세스 방식(Flow-GRPO)은 신용 할당 문제로 효율성이 떨어지고, 순방향 프로세스 방식(DiffusionNFT)은 지수이동평균(EMA) 비정책 학습 튜닝 없이는 불안정하다.
- NFT 스타일 목적함수가 숨겨진 순방향-역방향 일관성 강제를 포함하고 있으며, 양성-음성 결합 학습이 이를 부분적으로만 상쇄하고, EMA는 비정책 롤아웃이 아닌 복원을 통해 학습을 안정화한다는 원리를 발견했다.
- DiffusionART(Diffusion Reinforcement with Aggregation-First Reward Tilting)는 각 프롬프트의 보상을 역방향 프로세스 상태를 위한 공유 보상 개선 방향으로 집계해 일관성 강제를 구조적으로 제거한다.
- 신뢰 영역 마스킹을 적용한 2단계 업데이트로 EMA 튜닝 없이 드리프트 적응형 복원을 수행하며, 미분 가능한 보상 모델이 필요 없고 프롬프트당 더 적은 샘플로도 유효하다.
- 쌍대 보상 모델 버전(DiffusionART-Pairwise)을 지원하며 작업별 튜닝 없이 이미지 및 비디오 생성에서 효율적이고 안정적으로 학습한다.
- HunyuanVideo-13B에서 시각 품질과 움직임 품질 보상을 동일 가중치로 적용했을 때, DiffusionNFT 대비 12.02배, Flow-GRPO-Fast 대비 11.72배 적은 GPU 시간으로 동등한 후기 단계 평균 보상에 도달했다.
- 같은 조건에서 DiffusionART는 평균 학습 보상에서 DiffusionNFT 대비 28.8%, Flow-GRPO-Fast 대비 53.0% 더 높은 성과를 달성했다.