Hugging Face 논문AI · 머신러닝

LLM은 자신의 지식을 잘못 알고 있다

원제 LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting

추천 35댓글 3Lingfei Qian, Yan Wang, Xueqing Peng 외
Key Point

LLM 금융 모델의 신뢰성을 검증하는 데 자기 보고와 학습 마감일이 얼마나 신뢰할 수 없는지를 측정했으며, 이는 과거 데이터에 대한 백테스트 유효성을 재검토해야 함을 시사한다.

핵심 요약

  • LLM의 금융 백테스트가 의미 있으려면 모델이 예측 대상 결과를 미리 알지 않았을 때만 유효한데, 공급사의 학습 마감일 보장·모델의 자기 보고·과거 날짜 지시 등이 이를 확인할 수 있는지 검증하는 연구다.
  • FinDendro 벤치마크는 1999~2026년 미국 경제 사실 2,226개를 포함하며 월간 거시경제 지표·월말 주가·연방준비제도 결정 등을 다룬다.
  • 각 사실마다 값 질문, 지식 여부 추측 질문, 과거 날짜를 명시한 예측 질문 등 네 가지 형태의 프롬프트를 생성해 우연의 정확도를 약 0.27 수준으로 조정한 통제 변수를 설정했다.
  • GPT-5는 통제된 사실 중 76%를 정답했으나 지식이 있다고 주장한 것은 38%뿐이며, 지식이 없다고 주장한 61%도 정답했다.
  • 모델의 지식 주장이 측정 가능한 지식 경계를 최대 7분기까지 넘어 지속되고, 과거 날짜를 명시하면 선행 지식 주장은 대부분 사라지지만 정확도는 변하지 않는다.
  • 따라서 벤치마크 기간이 모델 학습 기간 내에 있으면 자기 보고·지시·공시된 마감일만으로는 데이터 누출 없음을 보장할 수 없으며, 실제 시연된 사실 지식을 바탕으로 백테스트 기간을 선택해야 한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗