확산 모델이 외부 도움 없이 자신을 개선하는 법
원제 SALD: Self-Referenced Advantage Learning for Diffusion Models
추천 50댓글 1
Key Point
확산 모델의 학습을 더 효율적으로 만들 수 있는 새로운 기법으로, 추가 모델이나 파라미터 없이 모델 자신의 내부 신호만으로 성능을 개선할 수 있다는 점이 의미 있다.
핵심 요약
- 기존 연구에서 언어모델은 학생 파라미터로 구동하는 교사 네트워크의 도움으로 자체 평가 신호를 얻을 수 있음을 보였는데, 이를 확산 모델에 적용할 방법을 제시한다.
- SALD는 같은 모델으로 각 이미지-캡션 쌍을 두 가지 노이즈 수준에서 평가하는 자체 참조 학습 프레임워크다.
- 낮은 노이즈 경로는 그래디언트 추적 없이 평가되어 참조값을 제공하고, 높은 노이즈 경로는 학습 그래디언트를 생성한다.
- SALD는 쉬운 경로의 예측을 직접 모방하지 않고, 두 경로의 오류 차이를 이용해 어려운 경로의 목적함수를 조정한다.
- Advantage-Guided Diffusion(AGD)은 상대적 오류를 미분 가능한 샘플 수준 가중치로 변환하고, Temporal Advantage Memory(TAM)는 학습 과정에서 상대적 난이도를 누적하여 두 노이즈 수준 간 간격을 조정한다.
- Spectral Advantage Decomposition(SAD)은 두 경로의 잔차 전력 스펙트럼을 비교하여 주파수 기반의 미분 가능한 레이턴트 가중치를 구성한다.
- 모든 구성요소는 단일 모델 파라미터 세트를 공유하므로 외부 교사 네트워크나 추가 학습 가능 파라미터가 필요 없으며, 추론 절차 수정도 없다.
- 여러 아키텍처와 데이터셋에서의 실험으로 생성 품질이 일관되게 개선되었으며, 구성요소별 제거 실험으로 각 부분의 기여도를 정량화했다.