LLM 심판관을 저렴하게: 자신 없으면 상위 모델로 넘기기
Key Point
LLM을 심판으로 쓸 때 대부분의 판정은 저렴한 모델로 처리하되, 판단이 어려운 경우만 비싼 모델을 거쳐 전체 평가 비용을 대폭 줄일 수 있는 실용적 방법을 제시한다.
핵심 요약
- LLM을 평가 심판관으로 쓸 때 비용과 신뢰도가 커질수록 문제가 되는데, 결정 전용 모델인 JEV로 1차 심사를 한 후 판단이 필요할 때만 강력한 모델에 넘기는 방식을 제안한다.
- 16가지 생성형 및 보상 모델 심판관과 블라인드 인간 검증으로 비교한 결과, JEV는 최고 성능 LLM 심판관 대비 일반적 선호도와 근거 기반 사실성 평가에서 3%p 범위 내 정확도를 유지하면서 비용은 0.36%에 불과했다.
- 미분 계산 확인이나 정교하게 쓰인 오답 저항 같은 복잡한 판단이 필요한 경우 JEV의 성능 격차가 커진다.