Hugging Face 논문AI · 머신러닝

금융 업무 AI 에이전트를 평가하는 오픈 월드 벤치마크 등장

원제 FINCOSMOS: An Open-World Evaluation Paradigm for Agents in Finance

추천 26댓글 4Yupeng Cao, Xueqing Peng, Lingfei Qian 외
Key Point

금융 영역은 데이터 신뢰성과 시간 정확성이 생명인데, 기존 평가 방식으로는 이런 위험을 잡을 수 없다는 점을 보여줌으로써 AI 에이전트의 신뢰성 평가가 얼마나 어려운지, 그리고 현재 모든 에이전트가 불합격인 이유가 무엇인지 알 수 있다.

핵심 요약

  • 재무 작업을 수행하는 AI 에이전트들이 웹에서 실시간 데이터를 사용하되, 기존 벤치마크는 작업·데이터·시간을 고정해 실제 위험(데이터 검증 안 함, 미래 정보 사용 등)을 측정하지 못한다는 문제를 제시한다.
  • 이를 해결하기 위해 FINCOSMOS라는 오픈 월드 평가 패러다임을 제안하는데, 시뮬레이션된 사용자가 숨겨진 전략을 가지고 있고 에이전트는 웹에서 데이터를 직접 수집해야 한다.
  • 에이전트는 데이터 수집 시점 기준으로 백테스트를 구성하고 검증 가능한 결과를 제출해야 하며, 채점은 참고 정답 없이 프로그램이 시점별 정확성과 모든 보고된 지표를 재계산한다.
  • 제출된 전략이 숨겨진 명세와 일치하는지 확인하고, 15개의 거부 조건 중 하나라도 실패하면 세션이 불합격되도록 설계했다.
  • 4개 코딩 에이전트와 도구 없는 모델을 150회 세션으로 평가한 결과, 모든 세션이 불합격했다: 사용자가 승인한 세션도 프로그램 검사에서 실패했고, 에이전트들은 지시받지 않은 세부사항 중 54~64%만 제시했다.
  • 인간 전문가는 실패의 88.33%를 에이전트 탓으로 귀인했으며, FINCOSMOS 피드백을 받은 지속 메모리 에이전트는 10개 작업을 모두 학습했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗