확산형 언어모델을 위한 텍스트 임베딩 최적화
원제 Scaling and Distilling Text Embeddings for Better Diffusibility
추천 49댓글 2
Key Point
확산형 언어모델이 자기회귀 방식의 성능에 접근하기 위해서는 어떤 임베딩 공간이 최적인지 밝혀지지 않았는데, 이 연구가 스케일링과 증류 기법으로 그 해답을 제시한다.
핵심 요약
- 자기회귀 모델의 대안으로 주목받는 확산 언어모델(DLM)은 연속 텍스트 임베딩의 잠재공간에서 생성을 수행한다.
- 연구팀은 T5 계열 임베딩을 T5Gemma-1, T5Gemma-2로 확대했을 때 생성 성능이 크게 향상됨을 발견했다.
- 그러나 T5Gemma-2는 너무 판별력이 강해서 유사한 단어들의 임베딩까지 멀리 떨어져 있어, 샘플링 오류 시 유효한 임베딩을 찾지 못하는 문제가 발생한다.
- 이를 해결하기 위해 T5Gemma-2의 디코딩 확률을 소프트 레이블로 학생 인코더에 증류했다.
- 증류를 통해 학생 모델은 유사 단어 임베딩들을 더 가깝게 모으면서도 인코딩-디코딩 메커니즘을 유지한다.
- 결과적으로 증류된 임베딩은 더 연결된 확산 가능한 잠재공간을 형성해 vanilla T5Gemma-2를 능가한다.
- 연구팀의 중형 DLM은 OpenWebText에서 실제 텍스트 엔트로피 기준으로 생성 PPL 17.8(실제 텍스트 PPL 15.4)을 달성해 GPT-2-M을 앞선다.