사전학습 데이터의 어휘 흔적이 모델 성능에 미치는 영향

핵심 요약

• 제로샷 벤치마크 성능이 사전학습 말뭉치와 벤치마크 목표 간의 단어 수준 정렬에 얼마나 의존하는지 연구한 논문이다.
• 단어 단위 유니그램 교차 엔트로피(UCE)라는 토크나이저 무관의 모델 자유 지표를 제안해 참조 말뭉치와 목표 벤치마크 간 어휘 정렬을 측정한다.
• 우도 학습은 사전학습 말뭉치로부터 모델의 예측 분포를 형성하며, 우도 기반 평가의 제로샷 점수는 그 말뭉치와 벤치마크 사이의 어휘 정렬에 부분적으로 의존한다.
• 말뭉치 정체는 다양하되 학습 과정은 동일하게 유지하는 통제된 사전학습을 통해 10개 벤치마크, 4개 사전학습 말뭉치, 3개 모델 규모에 걸쳐 실험했다.
• 모든 벤치마크에서 말뭉치-벤치마크 어휘 정렬(UCE)이 제로샷 정확도를 일관되게 추적했으며, 벤치마크에 더 정렬된 말뭉치(낮은 UCE)일수록 더 높은 정확도를 달성했다.
• 문서 수준에서 벤치마크와의 어휘 정렬을 최대화하는 학습 문서를 선택하면 메커니즘이 예측하는 정확도 향상이 나타났다.
• 프롬프트 수준에서 각 프롬프트를 그 영역 말뭉치가 프롬프트와 가장 어휘 정렬이 좋은 드래프터로 라우팅하면 일반 드래프터 대비 측정 가능한 처리량 향상을 얻었다.
• 결론적으로 사전학습 말뭉치는 기반 모델의 제로샷 동작에 측정 가능한 어휘 흔적을 남기며, UCE는 참조 데이터와 목표 데이터 간 어휘 정렬을 탐지할 수 있는 모델 자유 도구를 제공한다.