확산 트랜스포머의 RL 튜닝은 사실 활성화 조정일 뿐
Key Point
확산 모델의 성능 개선이 실제로는 복잡한 학습이 아니라 간단한 선형 시프트로 대부분 설명되며, 이는 RL 튜닝의 작동 방식에 대한 근본적인 이해를 제시한다.
핵심 요약
- 확산 트랜스포머의 강화학습(RL) 사후 학습이 시각 품질, 텍스트 렌더링, 구성 정확도를 크게 개선한다.
- 논문은 이러한 개선이 복잡한 입력 의존적 변환 학습이 아니라 간단한 입력 독립적 시프트로 대부분 설명할 수 있다는 가설을 검증했다.
- SD3.5-M에서 RL-튜닝된 LoRA(1,880만 파라미터)의 65배 적은 파라미터(29만)를 가진 고정 조향 벡터 세트를 모든 프롬프트·토큰·샘플링 시드에 동일하게 적용했다.