LLM이 정량 트레이딩 전략을 실제로 만들 수 있을까
원제 Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research
추천 26댓글 1
Key Point
현재 최고 수준의 LLM들도 실제 시장 데이터에서 시계열 검증을 통과하는 거래 전략을 만들지 못하는 것으로 나타났으며, 이는 생성형 AI의 금융 적용 한계를 보여준다.
핵심 요약
- 정량 트레이딩 연구는 가설 제안→신호 구현→역사 데이터 검증→전략 확정의 반복 루프인데, 기존 벤치마크는 공식이나 코드 개별 거래 결정만 평가해왔다.
- Quant-Arena은 중국 A주 실제 시장 데이터로 LLM이 전체 루프를 완성하고 연구 기간 이후에도 작동하는 전략을 만들 수 있는지 측정하는 벤치마크와 공개 리더보드다.
- 모델은 특성과 주식 스코어링 코드를 구성하고, 2022~2023년 데이터로만 피드백을 받은 뒤, 폐쇄된 2024년 데이터로 평가받을 하나의 전략을 확정한다.
- 평가자는 거래 제약, 비용, 시뮬레이션 주문서로 추정한 시장 영향까지 반영해 채점한다.
- 점수는 실현된 초과 수익률이 주도하며, 신호 품질과 전략이 사용한 특성의 다양성으로 보완된다.
- 9개 최신 모델을 평가한 결과 GPT-6 Astra가 가장 높은 점수를 기록했으나, 어떤 모델도 2024년에 동일 가중치 시장 수익률을 이기지 못했다.
- Quant-Arena은 모든 모델과 에이전트 프레임워크로부터 제출을 받는 개방형 벤치마크다.