AI 벤치마크, 실제 일자리의 90%는 측정 못 한다

핵심 요약

• AI 벤치마크들이 미국 직업 923개(O*NET 분류)의 작업 중 대부분을 제대로 측정하지 못하고 있다는 분석이 나왔다.
• 미국 근로시간의 90%가 기존 벤치마크에서 5개 이상의 프롬프트로 커버되지 않는 작업에 사용되고 있다.
• 923개 직업 중 단 208개만 충분히 벤치마크된 작업(5개 이상 프롬프트)을 보유하고 있으며, 22개 직업군 중 6개는 해당하는 직업이 없다.
• 벤치마크 커버리지는 무작위가 아니며, 연간 임금 총액이 큰 직업(변호사 등)에 편중되어 있고, AI 노출도가 높은 작업은 낮은 작업보다 약 6배 더 많이 벤치마킹된다.
• 동일한 AI 노출도를 지닌 직업 내에서도 소득이 높은 일자리(변호사)의 작업은 집중적으로 측정되지만, 법률 비서나 법원 직원 같은 중간 소득 지식 업무는 거의 측정되지 않는다.
• 분석은 29개의 높은 품질의 벤치마크를 선정해 O*NET 분류로 매핑했으며, LLM 판정자가 벤치마크 프롬프트를 O*NET 작업과 연결했다.
• O*NET 작업 중요도 점수(1~5점)로도 편향이 확인되며, 가장 중요한 작업이 최소 중요 작업보다 약 6~10배 더 많이 벤치마크된다.
• 현재 접근법의 한계로는 미국 경제의 광범위함으로 인한 표본 부족, 과포화된 벤치마크와 미해결 벤치마크 혼재, 실제 업무에서의 인간-AI 협업 측정 어려움 등이 있다.
• 미국 일자리의 약 63%는 물리적 요소를 포함하고 있어 현재 벤치마크로 측정하기 어렵지만, 로봇 기술 발전에 따라 물리 작업 벤치마크의 필요성이 증가할 것으로 예상된다.
• 직업별 모델 성능을 정확히 측정하기 위해 단순 평균 대신 O*NET 분류로 가중치를 매기는 방식을 시도 중이며, 투자 분석·법률·회계·소프트웨어 엔지니어링 4개 직업에서 가중치 적용 시 단순 평균과 큰 차이가 없음을 확인했다.