실시간 변경되는 업무 기록을 다루는 AI의 한계 측정
원제 MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records
추천 26댓글 3
Key Point
엔터프라이즈 AI가 현실의 복잡한 협업 환경에서 정보 충돌과 불일치를 처리하는 방식의 근본적 한계를 측정한 첫 번치마크로, 기업용 AI 에이전트 개발의 방향을 제시한다.
핵심 요약
- 팀 협업으로 지속 변경되는 업무 기록(문서, 채팅, 이미지)을 바탕으로 질문에 답하는 엔터프라이즈 AI 에이전트의 성능을 평가하는 벤치마크 MMEnterprise-Bench를 발표했다.
- 시뮬레이션된 협업 프로젝트의 멀티모달 기록 1,613개 질문으로 구성되며, 증거 추론(Evidence Reasoning), 충돌 해결(Conflict Resolution), 답변 불가능 인식(Unanswerability) 세 가지 범주를 포함한다.
- 프로펠리어터리(상용) 및 오픈소스 멀티모달 LLM 10개를 평가한 결과, 가장 성능이 좋은 모델들도 출처나 시간이 다른 정보가 충돌할 때, 또는 증거가 여러 이미지에 걸쳐 있을 때 정확도가 급격히 떨어진다.
- 검색 예산을 늘리거나 더 큰 리트리버를 사용하면 증거 수집률은 올라가지만, 최종 답변 정확도 향상으로 일관되게 이어지지 않는 문제가 발견됐다.
- 이는 변하는 업무 기록을 다루는 엔터프라이즈 AI의 근본적 한계를 보여주며, MMEnterprise-Bench는 더 신뢰할 수 있는 에이전트 개발을 위한 테스트베드 역할을 한다.
- 코드와 데이터는 공개되어 있다.