LLM을 분류기로 쓰지 말고 피처로 써야 하는 이유
Key Point
LLM을 분류 작업에 직접 쓰는 방식의 한계를 짚고 기존 머신러닝 기법과 결합하는 실용적 해법을 제시하므로, 프로덕션 환경에서 LLM 활용 방식을 고민하는 개발자에게 즉시 적용 가능한 인사이트를 준다.
핵심 요약
- LLM을 직접 분류기로 사용하면 신뢰도 보정, 정보 활용, 해석 가능성 측면에서 문제가 있다.
- LLM의 판정을 로지스틱 회귀 같은 머신러닝 모델의 입력 피처로 취급하면 이러한 문제를 해결할 수 있다.
- 이 방식은 실제 확률값을 제공해 임계값을 조정할 수 있고, 구조화된 데이터와 다른 피처를 함께 활용할 수 있으며, 모델의 기여도를 명확히 볼 수 있다.
- 성능 향상을 위해 토큰 로그 확률, 여러 차례 실행, 부분 판정 같은 추가 피처를 생성하거나 다른 머신러닝 모델로 교체하는 것이 프롬프트 엔지니어링보다 효과적이다.