5,400개 문제로 AI 의사결정 능력 측정하는 벤치마크 등장
원제 MMDM: Measuring Massive Multitask Decision Making
추천 27댓글 3
Key Point
AI 모델이 현실의 복잡한 선택 상황에서 얼마나 약한지 보여주는 첫 대규모 평가 결과로, 즉시 적용되는 시스템들의 의사결정 신뢰성을 판단하는 기준이 된다.
핵심 요약
- System-1 Decision Models는 추론 과정 없이 한 번에 확률적 의사결정을 내리는 모델이다.
- 기존 벤치마크는 공개된 자료 노출로 일반화 능력 측정이 어렵고, 장문 입력·대규모 선택지·논리적 의존성을 함께 다루지 못한다.
- MMDM 벤치마크는 16개 과제 범주 5,448개 고품질 문제로 구성되었으며, 새로운 과제와 기존 데이터 재구성·수정본을 포함한다.
- 에이전트 상태 추적, 도구 선택, 선호도 판단, 채점 기준 평가 등 현실 시나리오를 다루고, 선택지는 2~1,024개, 입력은 최대 64,817 토큰이다.
- Perplexity Decider-V1.2 등 28개 모델을 평가한 결과, 일반 지식에서는 높은 정확도를 보이나 선택지 간 논리 의존성, 제약 조건, 다중 선택에서 급격히 떨어진다.
- 예를 들어 Perplexity Decider-V1.2는 세계 지식 문제에서 78.75% 정확도인 반면, 선택지 논리는 53.95%, 제약 계획은 47.95%에 불과했다.
- 모든 모델의 최고 다중 선택 정확도는 36.81%에 그쳐 심각한 약점을 드러냈다.
- MMDM은 결합 추론, 제약 인식 선택, 다중 선택 완전 복구를 의사결정 모델 개발의 핵심 과제로 지목한다.