다중언어 수학 문제로 언어 간 능력 이전의 핵심 요인 파악
Key Point
모델 개발자가 저자원 언어의 성능을 예측하고 개선하는 데 필요한 핵심 요소가 무엇인지 명확히 하므로, 모든 언어 조합을 평가해야 하는 부담을 줄일 수 있다.
핵심 요약
- 한 언어에서 습득한 모델의 능력이 다른 언어로 얼마나 이전되는지 이해하기 위해 '다중언어 GSM-Symbolic' 데이터셋을 개발했다.
- 15개 언어의 3만 개 문제-답안 쌍을 포함하며, 기호 템플릿을 사용해 과적합을 방지하고 단일 샘플에서 수백만 개 변형을 생성할 수 있다.
- 모델 크기(β=1.77), 언어 자원 수준(β=0.77), 추론 능력(β=0.67), 언어의 유형학적 거리(β=-0.25)가 주요 성능 결정 요인임을 정량화했다.