대형 언어모델, 문화적 추론에서 고전하다
원제 CulturalRiddles: A Multicultural Benchmark of Riddles
추천 37댓글 2
Key Point
LLM이 다양한 문화의 맥락과 암묵적 지식을 이해하는 데 얼마나 취약한지 보여주는 첫 대규모 평가로, 모델 개발 시 영어권 중심 편향을 재검토해야 함을 시사한다.
핵심 요약
- LLM이 언어 지원을 확대하면서 문화 다양성 이해를 평가할 필요가 대두됐으나, 기존 벤치마크는 영어 중심이고 문화 커버리지가 제한적이며 실제 맥락 적용보다 사실 지식에 초점을 맞춰왔다.
- CulturalRiddles는 62개 문화권(45개국, 51개 언어)에서 참여 커뮤니티가 직접 만든 수백 개의 원본 문화 수수께끼로 구성한 벤치마크다.
- 각 수수께끼는 문화적 뿌리가 깊으며 귀납적·합성적 추론, 상세한 사실·사회적 지식, 언어 능력, 문화 특화 연관성 이해를 필요로 한다.
- 28개 LLM 구성을 자동 평가와 대규모 인간 평가로 벤치마킹한 결과 일부 커뮤니티에서 최첨단 모델도 최대 22% 정확도에 불과했다.
- 모든 산출물을 공개하고 언어·문화 커버리지 확대를 위한 개방형 기여 프로세스를 제공한다.