금융 업무 AI 에이전트를 평가하는 오픈 월드 벤치마크 등장
원제 FINCOSMOS: An Open-World Evaluation Paradigm for Agents in Finance
추천 26댓글 4
Key Point
금융 영역은 데이터 신뢰성과 시간 정확성이 생명인데, 기존 평가 방식으로는 이런 위험을 잡을 수 없다는 점을 보여줌으로써 AI 에이전트의 신뢰성 평가가 얼마나 어려운지, 그리고 현재 모든 에이전트가 불합격인 이유가 무엇인지 알 수 있다.
핵심 요약
- 재무 작업을 수행하는 AI 에이전트들이 웹에서 실시간 데이터를 사용하되, 기존 벤치마크는 작업·데이터·시간을 고정해 실제 위험(데이터 검증 안 함, 미래 정보 사용 등)을 측정하지 못한다는 문제를 제시한다.
- 이를 해결하기 위해 FINCOSMOS라는 오픈 월드 평가 패러다임을 제안하는데, 시뮬레이션된 사용자가 숨겨진 전략을 가지고 있고 에이전트는 웹에서 데이터를 직접 수집해야 한다.
- 에이전트는 데이터 수집 시점 기준으로 백테스트를 구성하고 검증 가능한 결과를 제출해야 하며, 채점은 참고 정답 없이 프로그램이 시점별 정확성과 모든 보고된 지표를 재계산한다.
- 제출된 전략이 숨겨진 명세와 일치하는지 확인하고, 15개의 거부 조건 중 하나라도 실패하면 세션이 불합격되도록 설계했다.
- 4개 코딩 에이전트와 도구 없는 모델을 150회 세션으로 평가한 결과, 모든 세션이 불합격했다: 사용자가 승인한 세션도 프로그램 검사에서 실패했고, 에이전트들은 지시받지 않은 세부사항 중 54~64%만 제시했다.
- 인간 전문가는 실패의 88.33%를 에이전트 탓으로 귀인했으며, FINCOSMOS 피드백을 받은 지속 메모리 에이전트는 10개 작업을 모두 학습했다.