AI, 주식 투자 분석 벤치마크에서 실적 부진
원제 Investor's Last Exam: Can AI Agents Do Equity Investment Without Seeing the Future?
추천 11댓글 4
Key Point
최신 AI 모델들이 종합적 분석은 잘하지만 실제 투자 예측으로 이어지지 못한다는 구체적인 성과 격차를 드러내, AI 금융 분석 능력의 현주소를 파악할 수 있다.
핵심 요약
- 금융 에이전트는 현재 시점의 정보만으로 투자 판단을 내려야 하며, 그 예측은 이후의 실제 결과로 평가받는다.
- 기존 벤치마크는 금융 지식·분석 워크플로·예측 능력을 각각 평가했으나, 완전한 연구 프로세스를 평가하려면 정보가 고정된 상태와 전문가 평가 기준이 필요하다.
- ILE(Investor's Last Exam)는 경험 많은 펀드 매니저들이 주도한 주식 분석 벤치마크로, 342만 개 문서 버전과 9가지 소스를 담은 금융 데이터베이스, 시계열 타임스탬프가 적용된 시장 데이터, 전문가가 설계한 평가 기준을 포함한다.
- 86개 과제에서 연구 품질, 예측 정확도, 시뮬레이션 투자 성과를 함께 평가하며, 금융 종속성 그래프로 근거·가정·계산·결론을 추적한다.
- GPT-6 Astra는 100점 중 68.1점, Claude Opus 5.5는 66.9점으로 선두를 기록했으나, Astra도 예측·모델링 부분에서는 52.5점에 그쳤다.
- 최고 성능의 모델들도 종합적 분석 능력을 예측과 투자 판단으로 제대로 전환하지 못하고 있으며, ILE는 개별 역량 평가에서 증거-가정-판단 연쇄의 전체 흐름 평가로 초점을 이동시켜 금융 에이전트 훈련과 평가의 기반을 제공한다.