LLM 평가 비용 줄이는 중요도 가중 샘플링 기법
원제 AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis
추천 11댓글 2
Key Point
대규모 LLM 평가 비용 문제를 해결하면서도 편향 없는 성능 추정을 가능하게 하는 실용적 기법으로, 금융 부정 탐지 같은 불균형 데이터셋 평가에 직접 적용할 수 있다.
핵심 요약
- AMLworld 데이터셋에서 백만 개 이상의 거래를 평가하려면 각각 별도의 그래프 프롬프트가 필요해 높은 비용이 든다.
- AMLworld-Compact는 모든 불법 거래는 유지하되 감독된 점수 계층에서 정상 거래를 샘플링한 평가 세트다.
- HT-Coreset 프로토콜을 사용해 HI-Small과 LI-Small에서 평가 대상을 각각 271배, 611배 감소시킨다.
- Horvitz-Thompson 가중치를 적용하면 고정된 예측에 대해 비편향 혼동 행렬 추정치를 얻으며, 재현율은 정확하고 정밀도와 F1은 비율 추정치다.
- Graph Feature Preprocessor 특성으로 한 부스팅 트리 그룹이 다른 그룹 평가 시 계층을 정의하고, 500회 드로우로 검증했을 때 균등 샘플링 대비 F1 RMSE가 0.00-2.58%p vs 4.44-7.41%p로 낮다.
- 평가된 그래프 프롬프트 조건에서 7개 공개 가중 LLM의 가중 정밀도는 모두 정상 거래만 예측하는 기준선 수준이다.
- 1,000개 HI-Small 소수샷 출력에 대한 감사에서 어휘 검사는 올바른 판정의 84.5%, 잘못된 판정의 56.2%만 통과해 마크만으로는 정확성을 입증하지 못한다.
- 평가 세트, 구성 코드, 감사 도구를 Hugging Face와 GitHub에 공개했다.