벤치마크가 말해주지 않는 것: 어려움의 분포 문제
원제 Your Benchmark Is an Empirical Measure Over Difficulty
추천 61댓글 1
Key Point
평가 지표의 신뢰성이 중요한 만큼, 기존 벤치마크들이 어떤 한계를 가지고 있으며 그것이 리더보드 순위를 얼마나 왜곡할 수 있는지 정량적으로 드러낸다.
핵심 요약
- 벤치마크는 단순한 문제 모음이 아니라 자연스럽게 난이도에 대한 경험적 분포를 만들며, 이 관점에서 벤치마크 평가를 재검토하는 새로운 틀을 제시한다.
- 벤치마크의 중심 문제 두 가지를 정의한다: 벤치마크의 난이도 분포가 의도한 분포와 다른 '측정값 불일치(measure mismatch)', 난이도 축의 특정 구간이 비어 있어 모델 개선을 감지하지 못하는 '커버리지 갭(coverage gaps)'.
- 이 두 문제를 포착하는 진단 지표를 제안하고 엄밀한 이론적 보장을 제공한다.
- 7개 분야 25개 인기 벤치마크를 신중히 추정한 문제 난이도로 분석한 결과, 많은 벤치마크가 특정 난이도 구간을 암묵적으로 과대평가하고 있어 리더보드 결론을 조심스럽게 해석해야 함을 발견했다.
- 상당수 벤치마크의 난이도 축에 큰 공백이 있어 모델 진보를 추적하는 능력이 제한적이다.
- 진단을 실제 개선으로 전환하기 위해 BenchFill을 제안하는데, 이는 난이도 기반 문제 재작성 알고리즘으로 로컬 커버리지 갭을 효과적으로 줄인다.