LLM이 실무 경영과학 컨설팅을 제대로 할 수 있을까
Key Point
실제 컨설팅 프로젝트 자료로 구성한 처음의 OR 벤치마크로, 현재 LLM이 비즈니스 최적화 문제를 전문가 수준으로 해결할 때의 실제 격차를 보여주기 때문이다.
핵심 요약
- LLM 에이전트가 원본 비즈니스 자료만으로 전문가 수준의 경영과학(OR) 솔루션을 제공할 수 있는지 평가하는 OR-License 벤치마크를 공개했다.
- 실제 유료 OR 컨설팅 프로젝트 3,680만 달러 규모의 10개 산업 분야 31개 사례로 구성되며, 원본 요구사항·입력 데이터·납품 형식을 그대로 유지한다.
- ORSim이라는 제어된 클라이언트 시뮬레이터를 도입해 비즈니스 정보는 제공하되 OR 전문성은 공급하지 않는 환경에서 정보 수집 과정을 추적한다.