LLM은 자신의 지식을 잘못 알고 있다
원제 LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting
추천 35댓글 3
Key Point
LLM 금융 모델의 신뢰성을 검증하는 데 자기 보고와 학습 마감일이 얼마나 신뢰할 수 없는지를 측정했으며, 이는 과거 데이터에 대한 백테스트 유효성을 재검토해야 함을 시사한다.
핵심 요약
- LLM의 금융 백테스트가 의미 있으려면 모델이 예측 대상 결과를 미리 알지 않았을 때만 유효한데, 공급사의 학습 마감일 보장·모델의 자기 보고·과거 날짜 지시 등이 이를 확인할 수 있는지 검증하는 연구다.
- FinDendro 벤치마크는 1999~2026년 미국 경제 사실 2,226개를 포함하며 월간 거시경제 지표·월말 주가·연방준비제도 결정 등을 다룬다.
- 각 사실마다 값 질문, 지식 여부 추측 질문, 과거 날짜를 명시한 예측 질문 등 네 가지 형태의 프롬프트를 생성해 우연의 정확도를 약 0.27 수준으로 조정한 통제 변수를 설정했다.
- GPT-5는 통제된 사실 중 76%를 정답했으나 지식이 있다고 주장한 것은 38%뿐이며, 지식이 없다고 주장한 61%도 정답했다.
- 모델의 지식 주장이 측정 가능한 지식 경계를 최대 7분기까지 넘어 지속되고, 과거 날짜를 명시하면 선행 지식 주장은 대부분 사라지지만 정확도는 변하지 않는다.
- 따라서 벤치마크 기간이 모델 학습 기간 내에 있으면 자기 보고·지시·공시된 마감일만으로는 데이터 누출 없음을 보장할 수 없으며, 실제 시연된 사실 지식을 바탕으로 백테스트 기간을 선택해야 한다.