확산 트랜스포머의 RL 튜닝은 사실 활성화 조정일 뿐
원제 RL Post-Training in Diffusion Transformers Is Activation Steering
추천 17댓글 2
Key Point
확산 모델의 성능 개선이 실제로는 복잡한 학습이 아니라 간단한 선형 시프트로 대부분 설명되며, 이는 RL 튜닝의 작동 방식에 대한 근본적인 이해를 제시한다.
핵심 요약
- 확산 트랜스포머의 강화학습(RL) 사후 학습이 시각 품질, 텍스트 렌더링, 구성 정확도를 크게 개선한다.
- 논문은 이러한 개선이 복잡한 입력 의존적 변환 학습이 아니라 간단한 입력 독립적 시프트로 대부분 설명할 수 있다는 가설을 검증했다.
- SD3.5-M에서 RL-튜닝된 LoRA(1,880만 파라미터)의 65배 적은 파라미터(29만)를 가진 고정 조향 벡터 세트를 모든 프롬프트·토큰·샘플링 시드에 동일하게 적용했다.
- 이 벡터들을 공개된 RL-튜닝 체크포인트의 속도 예측과 매칭시켰고, 보상 함수 없이 90.0~96.3%의 RL 보상 이득을 회복했다.
- 2개의 RL-튜닝 비디오 모델에서도 각각 89.8%, 111.9%의 성능을 달성했다.
- 0에서 초기화된 채로 온라인 RL로 학습한 벡터들은 SD3.5-M의 텍스트 렌더링(OCR) 및 인간 선호도(PickScore)에서 가중치 기반 RL을 능가했다.
- 정책-그래디언트 RL 사후 학습의 대부분의 이득이 상수 시프트만으로 충분하며, 새로운 입력 의존적 변환 없이 사전학습 생성 모델을 기존에 계산할 수 있는 범위로 조정한다는 결론이다.