위험 개념은 분리하고 품질은 살리는 이미지 생성 모델
원제 Pristine Models
추천 13댓글 1
Key Point
학습 데이터 필터링과 사후 제거 방식의 한계를 근본적으로 해결하는 새로운 아키텍처로, 안전성과 품질 사이의 오랜 트레이드오프를 학습 시점에서 구조적으로 해소하는 방법을 제시한다.
핵심 요약
- 기존 이미지 생성 모델은 광범위한 미필터링 데이터로 학습하면 품질은 높지만 생성해서는 안 되는 개념도 학습하는 문제가 있다.
- 안전한 데이터만으로 학습하면 위험 개념을 피할 수 있지만, 그 데이터에 포함된 유용한 지식도 함께 잃어서 품질이 떨어진다.
- 기존 방식들은 학습 후 개념 제거를 시도하는데, 제거할 개념이 많아질수록 파괴적인 망각(catastrophic forgetting)을 일으킨다.
- 새로운 논문은 안전한 지식과 위험한 지식을 학습 중에 독립적인 분기(branch)로 분리할 수 있는지 제시한다.
- 이를 구현한 'Pristine Models'는 텍스트-이미지 생성 아키텍처로, 주의 메커니즘을 통해 안전/위험 지식을 서로 다른 매개변수로 학습한다.
- 위험 분기는 추론 시점에 제거할 수 있으므로, 학습 중 전체 데이터의 이점을 얻으면서도 생성 시 안전성을 보장한다.
- ImageNet 실험에서 Pristine Models는 안전한 데이터만으로 학습한 모델보다 이미지 품질과 텍스트 정렬이 더 좋고, 기존 사후 제거 방식보다도 우수했다.
- CC12M 데이터셋(13억 개 이미지)으로 확장한 결과에서도 접근법의 효과가 유지되어, 대규모 개방형 학습에서도 실용성이 있음을 보였다.