수학 모델링 문제를 자동화로 검증하는 벤치마크 등장
원제 Terminal-style Mathematical Modeling Bench: The First Agentic and Verifiable Benchmark for Mathematical Modeling
추천 11댓글 3
Key Point
수학 모델링 같은 열린 문제의 검증 방식이 LLM 판사 의존에서 기계 검증 가능한 형태로 바뀌면서 AI 에이전트 성능 측정 기준이 더 객관화된다.
핵심 요약
- 수학 모델링 문제는 현실 문제를 가정·모델·해결책·권장사항으로 변환하는데, 기존 벤치마크는 풀이 조각이나 LLM 판사로 채점해 검증이 불완전했다.
- TB-MathModel은 18개 실제 CUMCM·MCM 문제(2023~2025)로 완전한 대회식 모델링 문제를 자동화 가능하고 검증 가능하게 만든 첫 벤치마크다.
- 각 문제는 컨테이너 터미널에 정확한 지문·공식 첨부 자료·그림을 제공하고, 에이전트는 JSON으로 답변해 최종 질문의 수치 핵심을 우수상 논문과 비교 채점한다.
- 방향 인식 편측 점수 매김(최적 답을 절대 감점하지 않음)과 2계층 타당성 검증(6가지 결정 가능한 불변식 + 624개 Lean 4 의무)을 적용해 타당하지 않은 답은 0점 처리한다.
- 한 개 기준이 아닌 여러 인정된 답과 비교해 채점하므로 모델은 다양한 답과 유사해야 한다.
- 7개 다중모달 모델 7회 시행 결과 최강이 64.58% 다중참조 O-Eval을 기록했고, $2.54짜리 오픈 모델도 1/100 비용으로 59.81%를 달성했다.
- 소스 코드는 깃허브에서 공개되며, 수학 모델링 수치 핵심을 재현 가능하고 기계 검증 가능한 신호로 전환해 장기 모델링 역량 측정과 에이전트 궤적 수집을 가능하게 한다.