LLM 기반 의사결정의 숨겨진 함정, 질문 형식에 따라 답이 달라진다

핵심 요약

• Jev는 LLM을 통해 이진 선택, 객관식 등 다양한 형식으로 같은 의미의 질문을 할 수 있는 typed querying 체계를 제공한다.
• 이 논문은 Jev가 질문 형식이 바뀌어도 일관된 답을 주는지 평가하는 PrimaCons 벤치마크를 제시했다.
• 세 가지 규모의 Jev 모델 모두에서 네 가지 축(축약된 설명)에 걸쳐 일관성 위반이 발견되었다.
• 일관성 위반은 체계적인 패턴을 따르며, 질문 형식 간 불일치가 ROC-AUC 0.91로 의사결정 실패를 예측할 수 있다.
• 이를 개선하기 위해 Cross-Primitive Residual Calibrator(CPRC)를 제안했는데, 이는 동결된 주모델 위에 경량 잔차 신경망을 추가하고 정확도와 일관성을 함께 학습한다.
• Leave-one-domain-out 프로토콜 평가에서 CPRC는 일관성 위반을 58.57% 감소시키고 정확도를 2.97% 향상시켰다.
• 이 접근법은 도메인 내·외 모든 설정에서 효과를 입증하며, 코드와 벤치마크는 GitHub에 공개되었다.