BERT 인코더의 한계를 뛰어넘은 UltraBERT
원제 UltraBERT: Beyond the Limit of BERT Pre-Training
추천 52댓글 1
Key Point
BERT 기반 인코더가 분류와 검색 작업을 함께 잘 처리하는 것이 불가능했던 문제를 처음으로 해결하며, 양방향 모델의 학습 방식과 마스킹 비율 설계에 대한 새로운 원칙을 제시한다.
핵심 요약
- 최근 인코더들은 대규모 언어모델(LLM)의 혁신을 도입했지만 사전학습 방식은 과거 소규모 관례를 그대로 유지해 최적화가 부족했고, 분류와 검색 작업 모두에서 경쟁력을 갖춘 단일 모델이 없는 상태였다.
- 연구진은 학습 설계의 핵심 선택지들을 재검토해 세 가지 주요 발견을 얻었다: (1) 인코더는 수조 개 토큰 이상에서 다운스트림 작업의 성능이 포화되어 추가 계산이 도움이 안 됨, (2) 낮은 마스킹 비율은 분류에 유리하고 높은 비율은 검색에 유리하며 이는 모델 크기와 무관하게 적용됨, (3) 증류와 프루닝은 낮은 마스킹 비율에서는 분류를 개선하지만 높은 비율에서는 검색을 악화시킴.
- 이 발견들을 바탕으로 UltraBERT는 배치 내에서 낮은 비율과 높은 비율의 마스킹에 각각 별도의 언어모델 헤드를 할당하고 증류 목표를 낮은 비율로만 제한하는 설계를 적용했다.
- UltraBERT는 분류와 검색 작업 모두에서 최고 성능을 달성한 첫 인코더로, GLUE에서 91.0, BEIR에서 47.7을 기록했다.