Hugging Face 논문AI · 머신러닝오늘의 주요

확산 트랜스포머의 RL 튜닝은 사실 활성화 조정일 뿐

원제 RL Post-Training in Diffusion Transformers Is Activation Steering

추천 17댓글 2Tuna Han Salih Meral, Kaan Oktay, Alec Helbling 외
Key Point

확산 모델의 성능 개선이 실제로는 복잡한 학습이 아니라 간단한 선형 시프트로 대부분 설명되며, 이는 RL 튜닝의 작동 방식에 대한 근본적인 이해를 제시한다.

핵심 요약

  • 확산 트랜스포머의 강화학습(RL) 사후 학습이 시각 품질, 텍스트 렌더링, 구성 정확도를 크게 개선한다.
  • 논문은 이러한 개선이 복잡한 입력 의존적 변환 학습이 아니라 간단한 입력 독립적 시프트로 대부분 설명할 수 있다는 가설을 검증했다.
  • SD3.5-M에서 RL-튜닝된 LoRA(1,880만 파라미터)의 65배 적은 파라미터(29만)를 가진 고정 조향 벡터 세트를 모든 프롬프트·토큰·샘플링 시드에 동일하게 적용했다.
  • 이 벡터들을 공개된 RL-튜닝 체크포인트의 속도 예측과 매칭시켰고, 보상 함수 없이 90.0~96.3%의 RL 보상 이득을 회복했다.
  • 2개의 RL-튜닝 비디오 모델에서도 각각 89.8%, 111.9%의 성능을 달성했다.
  • 0에서 초기화된 채로 온라인 RL로 학습한 벡터들은 SD3.5-M의 텍스트 렌더링(OCR) 및 인간 선호도(PickScore)에서 가중치 기반 RL을 능가했다.
  • 정책-그래디언트 RL 사후 학습의 대부분의 이득이 상수 시프트만으로 충분하며, 새로운 입력 의존적 변환 없이 사전학습 생성 모델을 기존에 계산할 수 있는 범위로 조정한다는 결론이다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗