정책 증류에서 상대적 차이의 전이 메커니즘 규명

핵심 요약

• 온-정책 증류(OPD)는 강사 정책에서 학생 정책을 감독하되, 기존에는 강사가 월등히 뛰어나야 효과적이었다.
• 최근 연구는 강사의 절대 분포 대신 강사와 참조 정책 간의 상대적 차이를 전이하는 방식을 제안했지만, 어떤 차이가 유용한 감독을 제공하고 어떤 대상이 이득을 볼 수 있는지는 불명확했다.
• 연구팀은 프록시 강사와 프록시 참조 간의 로그 확률 비를 KL 정규화 정책 최적화의 암묵적 보상으로 해석하는 통합 이론을 개발했다.
• 이 공식화는 온-정책 업데이트를 유도하고 기존 OPD를 특수한 경우로 회수하며, 규모·학습 단계·생성 방식이 다른 모든 모델 간 전이를 가능하게 한다.
• 체계적 실험을 통해 첫째, 강한 강사가 반드시 좋은 감독 출처는 아니며, 강화학습·감독 미세조정 등 작업별 훈련으로 유도된 차이는 일관되게 전이되지만 모델 규모만의 차이는 약하거나 전이되지 않음을 발견했다.
• 둘째, 강사와 참조는 상호보완적 역할을 하는데, 강사는 전이할 능력을 제공하고 참조는 공유 행동을 필터링해 관련 잔여를 분리한다.
• 셋째, 유용한 차이도 모든 대상에 전이되는 것은 아니며, 성공하려면 유도된 업데이트가 대상을 강사 쪽으로 이동시키고 샘플 범위를 넘어 일반화해야 한다.
• 원시 정책 거리는 전이 가능성을 예측하지 못하지만, 적절한 참조 정책 선택으로 전이 실패 사례를 구제할 수 있다.
• 이 연구는 상대적 정책 차이가 언제 온-정책 증류에 효과적인 감독을 제공하는지 특성화한다.