LLM이 실무 경영과학 컨설팅을 제대로 할 수 있을까

핵심 요약

• LLM 에이전트가 원본 비즈니스 자료만으로 전문가 수준의 경영과학(OR) 솔루션을 제공할 수 있는지 평가하는 OR-License 벤치마크를 공개했다.
• 실제 유료 OR 컨설팅 프로젝트 3,680만 달러 규모의 10개 산업 분야 31개 사례로 구성되며, 원본 요구사항·입력 데이터·납품 형식을 그대로 유지한다.
• ORSim이라는 제어된 클라이언트 시뮬레이터를 도입해 비즈니스 정보는 제공하되 OR 전문성은 공급하지 않는 환경에서 정보 수집 과정을 추적한다.
• 평가는 실행 가능성 검증과 클라이언트가 수락한 전문가 솔루션과의 목적함수 품질 비교로 이뤄지며, DAQ(배포 조정 품질) 지표로 실행 불가능한 결과에는 0을 부여한다.
• 11개 최신 LLM을 코딩 에이전트로 테스트한 결과, 조건부 목적함수 품질에서 전문가를 초과하는 모델도 있지만 전체 DAQ에서는 모두 뒤떨어졌다.
• 가장 강력한 Claude Code 구성은 88.39%의 엄격한 실행 가능성과 0.87 DAQ를 달성했으나, 전문가 기준은 1.0이다.
• 클라이언트 정보 수집은 단순 명확화를 넘어 솔루션 개발과 검증으로 확장되며, 후기 단계일수록 문제 해결 확인 비율이 높아진다.
• 궤적 분석으로 공식화 실패와 구현 실패의 패턴을 파악했으며, 평가 가능한 작업에서 태스크 정규화된 리서치 체인 완성률은 모델별로 24~45% 범위다.
• 결론적으로 정보 격차 해결, 신뢰할 수 있는 문제 공식화, 증거 기반 자체 개선이 신뢰성 있는 장기 에이전트 구축에 필수적임을 강조한다.