다중언어 수학 문제로 언어 간 능력 이전의 핵심 요인 파악

핵심 요약

• 한 언어에서 습득한 모델의 능력이 다른 언어로 얼마나 이전되는지 이해하기 위해 '다중언어 GSM-Symbolic' 데이터셋을 개발했다.
• 15개 언어의 3만 개 문제-답안 쌍을 포함하며, 기호 템플릿을 사용해 과적합을 방지하고 단일 샘플에서 수백만 개 변형을 생성할 수 있다.
• 모델 크기(β=1.77), 언어 자원 수준(β=0.77), 추론 능력(β=0.67), 언어의 유형학적 거리(β=-0.25)가 주요 성능 결정 요인임을 정량화했다.
• 이를 통해 32억 모라티어(Marathi) 모델이 100억 영어 모델과 동등한 성능을 낸다는 식으로 요인 간 관계를 상호 표현할 수 있다.
• 모델 크기와 추론 능력은 저자원 언어와 고자원 언어 간 성능 격차를 좁히지만(각각 β=-0.27, β=-0.20), 유형학적으로 먼 언어에는 거의 효과가 없다.
• 제시된 분석 프레임워크는 언어 간 변동의 92%를 설명하지만 모델별 언어 변동의 23%만 설명하며, 미지의 언어에서 ±6.0포인트 오차로 성능을 예측한다.
• 목표 언어의 10개 템플릿만 측정하면 오차를 4.19포인트로 줄일 수 있어, 최소한의 다운스트림 데이터로도 합리적인 성능 추정이 가능하다.