쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 22일 (일)까지5067건
2건 · "LLM 벤치마크"조건 지우기 ×
001▲ 119 · 댓글 103고등학생이 최신 AI 모델 꺾는 벤치마크SimpleBench는 고등학교 수준의 일반 지식으로도 풀 수 있는 다지선다형 텍스트 벤치마크로, 200개 이상의 질문을 시공간 추론·사회적 지능·언어적 적대 견고성(트릭 질문)으로 구성했다.AI · 머신러닝 · Astra 6.2 and Sol 6.2 flop at Simple Bench
Key Point최신 LLM들이 인간 기준선에 미치지 못하는 구체적인 사례로, LLM 평가의 맹점과 현재 모델의 한계가 무엇인지 명확히 보여준다.
핵심 요약
- SimpleBench는 고등학교 수준의 일반 지식으로도 풀 수 있는 다지선다형 텍스트 벤치마크로, 200개 이상의 질문을 시공간 추론·사회적 지능·언어적 적대 견고성(트릭 질문)으로 구성했다.
- 대부분의 텍스트 기반 벤치마크에서는 LLM이 일반인을 능가하고 전문가 성능도 초과하지만, SimpleBench에서는 비전문가 인간의 정확도가 83.7%로 모든 테스트 모델을 상회했다.
- 당대 최고 성능의 Claude Fable이 81.9%에 그친 반면, 9명 참가자의 소규모 표본에 기반한 인간 기준선이 모든 LLM을 능가했다.
전체 요약 5문장 읽기 → 002▲ 12 · 댓글 2LLM 벤치마크 검증, 중복 제거로 비용 절감LLM 평가에 쓰이는 벤치마크 중 다수가 중복되어 평가 비용이 불필요하게 커지는 문제가 있다.AI · 머신러닝 · Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models

Key PointLLM 평가 비용을 줄이는 벤치마크 압축 기법들을 체계적으로 분류하고 검증 방법을 정리한 첫 종합 조사로, 평가 효율을 추구하는 연구팀과 조직이 신뢰할 수 있는 방법을 선택하는 데 도움이 된다.
핵심 요약
- LLM 평가에 쓰이는 벤치마크 중 다수가 중복되어 평가 비용이 불필요하게 커지는 문제가 있다.
- 벤치마크 압축(Benchmark Compression)은 전체 벤치마크 중 일부만 평가한 결과로 전체 성능과 순위를 추정하는 기법이다.
- 이 분야는 2024년부터 연구가 급증했으며, 119편의 논문을 검토하여 체계적인 분류를 수행했다.
전체 요약 7문장 읽기 →