대형 언어모델, 문화적 추론에서 고전하다
Key Point
LLM이 다양한 문화의 맥락과 암묵적 지식을 이해하는 데 얼마나 취약한지 보여주는 첫 대규모 평가로, 모델 개발 시 영어권 중심 편향을 재검토해야 함을 시사한다.
핵심 요약
- LLM이 언어 지원을 확대하면서 문화 다양성 이해를 평가할 필요가 대두됐으나, 기존 벤치마크는 영어 중심이고 문화 커버리지가 제한적이며 실제 맥락 적용보다 사실 지식에 초점을 맞춰왔다.
- CulturalRiddles는 62개 문화권(45개국, 51개 언어)에서 참여 커뮤니티가 직접 만든 수백 개의 원본 문화 수수께끼로 구성한 벤치마크다.
- 각 수수께끼는 문화적 뿌리가 깊으며 귀납적·합성적 추론, 상세한 사실·사회적 지식, 언어 능력, 문화 특화 연관성 이해를 필요로 한다.