거래 알고리즘 코드 생성에 특화한 언어모델 'QuantCode' 개발
원제 QuantCode Model: Specializing Language Models for Executable Algorithmic Trading Code
추천 11댓글 1
Key Point
자동거래 코드 생성이라는 전문 영역에서 언어모델을 효과적으로 적응시키는 방법과 이 과정의 실제 제약을 실증적으로 보여주며, 도메인 전문화와 일반 능력 유지 사이의 트레이드오프 문제를 구체적으로 드러낸다.
핵심 요약
- 대규모 언어모델이 일반 코드 생성에는 강하지만, 자동거래 알고리즘 코드 생성은 자연어 전략을 실행 가능한 프로그램으로 정확히 변환하고 과거 데이터에서 실행해 거래를 만들어내는 고도의 전문화가 필요하다.
- 연구팀은 거래 프레임워크 코드로 계속 학습(continued pretraining)과 검증된 요청-코드 쌍으로 감독 학습(SFT)이라는 두 가지 메커니즘을 통해 언어모델을 특화시켰다.
- Backtrader 전략 생성을 위한 400개 과제 벤치마크(QuantCode-Bench)와 저장소 수준의 SWE-벤치 트랙으로 평가했다.
- 계속 학습만으로 Qwen3.5-397B-A17B의 Judge Pass가 41.5%에서 47.5%로, Qwen3.6-35B-A3B는 27.8%에서 33.0%로 상승했다.
- 계속 학습 후 SFT를 적용한 Qwen3.6-35B-A3B는 Judge Pass 58.2%, 성공적인 백테스트 83.5%에 도달했다.
- 에이전트 평가에서는 첫 시도 성공률이 22.3%에서 58.3%로, 최대 10회 수정 후 최종 성공률이 47.5%에서 79.5%로 올랐다.
- 계속 학습만으로는 첫 시도 성공은 높아지지만 수정 후 성공은 47.5%에서 32.5%로 떨어져 지시 따르기 능력 저하를 보였으나, SFT는 두 지표를 모두 개선했다.
- 도메인 전문화 과정에서 구조화된 도구 호출 능력이 저하되는 '능력 손상' 현상을 발견했고, 목표 지향적 SFT로 도구 호출 형식은 복구했으나 저장소 수준의 에이전트 성능은 원래 모델 수준으로 회복하지 못했다.
- 결과는 프레임워크 중심 계속 학습, 검증된 SFT, 명시적 능력 손상 평가가 도메인별 실행 가능 코드 생성의 서로 다른 실패 모드를 다룬다는 것을 보여준다.