LLM 직결정 모델의 '중간값 선호 편향' 발견
원제 More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models
추천 51댓글 3
Key Point
LLM 기반 자동 평가와 분류 모델이 실제로는 제한된 선택지만 사용하고 있다는 점이 중요하므로, 이들을 프로덕션에 도입할 때 신뢰성을 검증해야 한다.
핵심 요약
- GPT-4V와 오픈소스 KEV 모델들이 제공받은 서수형(ordinal) 척도를 제대로 사용하지 못하는 문제를 분석했다.
- ANLI 데이터셋에서 GPT-4V는 74.95% 정확도를 보이면서도 전체 예측의 38.8%, 오류의 51.3%를 'Neutral' 중간값에 할당했다.
- 36개의 서수형 데이터셋 전반에서 모델들은 각 척도의 유효 범위 중 67~76%만 활용했지만, 명목형(nominal) 과제 4개에서는 87~102%를 활용했다.
- 후보 순서를 무작위로 섞으면 편향이 약해지지만 완전히 제거되지 않으며, 척도를 2에서 14개로 증가시키면 활용률이 26~75%로 크게 떨어진다.
- 이 현상은 아키텍처의 고정된 한계가 아니라 학습된 편향임을 보였다: BA-LoRA 파인튜닝으로 약 47%에서 86%로 활용률을 높일 수 있다.
- 연구진은 이를 '서수 척도 활용 편향'이라 명명했으며, 정확도나 데이터 불균형이 아닌 의사결정 단계에서의 후보 공간 압축 현상이라고 설명했다.