001▲ 15 · 댓글 2Few-Step 확산 모델, 간단한 회귀만으로 빠르게확산 및 흐름 모델의 샘플링 비용을 줄이는 Few-Step 디스틸레이션은 보조 점수 모델이나 특수 아키텍처가 필요했으나, 단순 On-Policy 속도 회귀만으로 4-NFE 생성에 충분함을 보였다.
AI · 머신러닝 · Simplifying and Improving On-Policy Distillation for Few-Step Diffusion
002▲ 276 · 댓글 3강화학습 모델을 학생 모델에 가르치는 새로운 방식, 표현층에서 직접 학습기존 온-폴리시 디스틸레이션(OPD)은 학생 모델이 자신의 궤적 위에서 교사의 다음 토큰 분포를 모방하도록 훈련하며, 출력 공간에서 암묵적 보상을 외삽하여 교사를 능가하게 할 수 있다.
AI · 머신러닝 · The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation