LLM의 결정 능력을 진단하는 벤치마크 DecisionPivot 공개
원제 DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems
추천 17댓글 2
Key Point
LLM이 의사결정을 내리는 모델들의 진정한 신뢰성을 판단하는 새로운 진단 방법이 제시되었는데, 기존 점수로는 놓치고 있던 결정 오류의 패턴을 구체적으로 드러낸다.
핵심 요약
- LLM 시스템에서 라우팅, 안전장치, 출력 검증을 담당하는 결정 모델의 성능을 평가하기 위해 DecisionPivot이라는 진단 벤치마크를 제안했다.
- 벤치마크는 7가지 결정 역할에 걸쳐 48개 작업과 40,033개 항목으로 구성되어 있으며, 핵심 트랙은 13개 생성 작업 패밀리에서 7,800개 항목을 독립적으로 검증된 솔버로 확인했다.
- 보조 참조 트랙은 35개 공개 테스트 세트의 32,233개 항목을 원래 평가 지표 그대로 보존하고 있다.
- 40개의 결정 모델과 14개의 범용 모델을 평가한 결과, 항목 정확도와 대조군 정확도, 확률 순서, 보정, 선택적 커버리지를 측정했다.
- 참조 트랙에서 2.6포인트만 차이나는 두 27B 모델이 대조군 정확도에서는 70.1%와 44.2%로 크게 달랐으며, 집계 점수로는 드러나지 않는 큰 차이가 존재한다.
- 2,400개의 이진 대조 쌍에서 Perplexity Decider는 양수 항목을 음수 항목보다 올바르게 순위 지은 경우가 92.3%지만, 둘 다 올바르게 답한 경우는 74.1%에 불과해 확률 순서와 결정 정확도 사이 격차를 드러냈다.
- GLM-5.3은 1,296개 항목 부분집합에서 높은 추론 설정에서 93.5% 대조군 정확도를 달성했으나 최저 노력 설정에서는 81.5%에 머물렀다.
- DecisionPivot은 오류를 핵심 세부사항과 난이도 수준에 연결하여 집계 평가만으로는 알 수 없는 결정 실패의 미세한 진단을 제공한다.