LLM 점수 매기기, 순서에 따라 결정 달라진다
원제 Equal Ranking Quality, Different Decisions: Measuring and Reducing Order Dependence in LLM Scorers
추천 17댓글 2
Key Point
LLM을 활용한 텍스트 순위 매기기는 정보 검색·추천 시스템의 핵심 기술인데, 같은 품질의 모델이 후보 순서에 따라 다른 결정을 내리는 숨겨진 문제를 드러내고 실질적 해결책을 제시한다.
핵심 요약
- 문서 재순위화·응답 순위 매기기·다중 문서 질의응답에서 LLM은 한 프롬프트에 여러 후보를 함께 점수 매기는데, 이 점수로 문턱값 유지 여부·독자 답변·선호도 학습용 쌍을 결정한다.
- 같은 쿼리와 후보에 대해 순서를 바꾸면 점수가 달라져 최종 결정이 바뀌는데, 랭킹 품질이 같아도 의사결정이 다르다는 문제가 발생한다.
- 실험 결과 점수 매김 품질이 0.010 nDCG@10 범위 내인 다섯 모델도 순서 변경 시 유지 대상 집합의 겹침이 0.66~0.84에 불과했다.
- 프롬프트 단계의 어떤 변경도 이 의존성을 해결하지 못했고, 랭킹 품질을 개선한 방법도 결정 안정성은 개선하지 않았다.
- 연구팀은 순서 간 점수 불일치에 페널티를 주는 순서-일관성 감독 미세조정(OC-SFT)을 제안했다.
- OC-SFT는 랭킹 품질을 유지하면서 세 가지 작업 모두에서 훈련된 점수 매기기의 모든 결정-안정성 지표에서 최고 성능을 보였다.
- OC-SFT는 12개 기본 모델에서 순열 평균 기반 증류법보다 더 안정적이었고, 한 번의 OC-SFT 순열은 공개 모델의 열 개 평균 순열보다 많이 겹친다.
- 향후 점수 매기기 모델 비교 시 랭킹 품질만이 아니라 문턱값이 유지하는 집합과 독자 답변도 함께 보고해야 한다고 주장한다.