Hacker NewsAI · 머신러닝

고등학생이 최신 AI 모델 꺾는 벤치마크

원제 Astra 6.2 and Sol 6.2 flop at Simple Bench

119 포인트댓글 103
Key Point

최신 LLM들이 인간 기준선에 미치지 못하는 구체적인 사례로, LLM 평가의 맹점과 현재 모델의 한계가 무엇인지 명확히 보여준다.

핵심 요약

  • SimpleBench는 고등학교 수준의 일반 지식으로도 풀 수 있는 다지선다형 텍스트 벤치마크로, 200개 이상의 질문을 시공간 추론·사회적 지능·언어적 적대 견고성(트릭 질문)으로 구성했다.
  • 대부분의 텍스트 기반 벤치마크에서는 LLM이 일반인을 능가하고 전문가 성능도 초과하지만, SimpleBench에서는 비전문가 인간의 정확도가 83.7%로 모든 테스트 모델을 상회했다.
  • 당대 최고 성능의 Claude Fable이 81.9%에 그친 반면, 9명 참가자의 소규모 표본에 기반한 인간 기준선이 모든 LLM을 능가했다.
  • 이 결과는 최신 LLM들이 사용하는 암기된 지식과 근사적 추론 검색만으로는 아직 기본적인 질문들을 모두 답하기에 부족함을 보여준다.
  • SimpleBench 앱에서 여러 모델을 직접 테스트할 수 있으며, 상세한 기술 보고서와 Patreon 업데이트가 제공된다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗