흐름과 확산 모델에서 데이터 망각과 경량화를 동시에
원제 Data Unlearning via Inverse Distillation
추천 20댓글 2
Key Point
생성 모델에서 특정 학습 데이터를 제거하면서 동시에 모델 크기를 줄이는 기술이 필요한데, 이 논문이 처음으로 두 목표를 함께 달성하는 방법을 제시했기 때문이다.
핵심 요약
- Flow 및 Diffusion 모델 같은 다단계 생성 모델은 고품질 출력을 만들지만 추론 비용이 크고 학습 데이터의 원치 않는 부분을 재현할 수 있다.
- 역방향 증류 망각(IDU) 기법은 교사 모델을 효율적인 원스텝 학생 생성기로 증류하면서 동시에 지정된 학습 부분집합의 출력을 억제하는 통합 프레임워크다.
- 증류를 데이터 분포에 대한 민-맥스 목적함수로 정식화하고, 이 분포를 망각 집합과 생성 분포의 혼합으로 표현해 교사의 학습 분포와 비교하면 최적점에서 보존 데이터만 복원된다.
- 사전학습된 교사 모델과 망각 집합 데이터만 필요하며 보존 학습 데이터, 추가 특성 추출기, 분류기에 접근할 필요가 없다.
- MNIST와 CIFAR-10 데이터셋에서 Flow-Matching과 Score-Based Diffusion 설정으로 실험한 결과 IDU는 망각된 클래스 생성 빈도를 대폭 줄이면서 보존 클래스의 생성 품질을 유지한다.
- 저자들의 주장으로 무조건부 Flow-Matching 및 Score-Based 모델에서 망각과 증류를 동시에 수행하는 첫 통합 프레임워크다.