LLM으로 선택지 기반 의사결정 모델 만들기
원제 Build your own decision model
143 포인트댓글 30
Key Point
선택지 기반 의사결정 모델은 LLM의 효율성을 대폭 높이면서도 보정 없이는 신뢰도 점수가 실제 성능과 맞지 않는 근본 문제를 직면하게 되는데, 온도 스케일링으로 이를 해결하는 실제 구현 방법을 보여준다.
핵심 요약
- 기존 언어 모델이 JSON 같은 구조화된 출력을 내려면 토큰 하나씩마다 생성 패스를 거쳐야 하므로 (예: 11개 토큰이면 11회 패스) 비효율적이다.
- Decision model 방식은 A, B, C, D, E처럼 고정된 선택지만으로 출력을 제한해 단 한 번의 패스로 최고 확률 토큰을 선택한다.
- Qwen3-1.7B 모델을 이용해 선택지 토큰만 마스킹하는 방식으로 구현하면, CommonsenseQA 데이터셋에서 1.7B 모델 기준 정확도 59.38%를 얻는다.
- 파인튜닝을 적용하면 정확도가 62.41%로 상승한다.
- 하지만 모델의 출력 확률을 신뢰도로 여기면 문제가 생긴다: 모호한 문제에서 0.9978처럼 극도로 과신하는 성향이 있고, 실제로 0.9-1.0 신뢰도일 때만 70% 정확하며 0.8-0.9 구간에서는 40% 수준으로 떨어진다.
- 이는 모델이 일반적으로 과신(overconfident)하다는 뜻이다.
- 온도 스케일링(temperature scaling)으로 확률 분포를 완화해 보정하면, 온도값 3.797을 적용했을 때 신뢰도와 실제 정확도가 일치하게 된다 (0.9-1.0 구간에서 95.41% 정확).
- 저자가 공개한 GitHub 저장소에는 데이터셋 구성, 평가, 파인튜닝, 보정 과정을 담은 스크립트가 포함돼 있다.