LLM 판단 vs 결정 모델, 벤치마크 결과는 기존 방식이 우위

핵심 요약

• TypeSafe AI의 Jev 같은 결정 모델(decision model)은 고정된 스키마의 '결정'을 출력하는 새로운 AI 안전장치 기법으로, 자유형 텍스트 생성 방식보다 빠르고 저렴하며 학습 데이터 없이도 새로운 문제에 적용할 수 있다.
• Red Hat 연구팀은 프롬프트 주입과 콘텐츠 안전성 두 가지 벤치마크에서 9개 안전장치를 비교 평가했다: CPU 규모 사전학습 분류기, BART-large-mnli, Shieldstral, Nemotron-3.5, Qwen3.6-35B, Laya, DiffusionGemma, Jev.
• 프롬프트 주입 탐지에서 Qwen3.6-35B(LLM-as-a-judge)이 89.31% 정확도로 1위, DiffusionGemma 87.72% 2위, Jev는 86.35%로 4위를 기록했다.
• 콘텐츠 안전성 평가에서 Jev가 86.20%로 1위였지만, DiffusionGemma(85.53%), Qwen3.6-35B(85.47%) 등과 1%p 이내 차이로 경쟁했다.
• 사전학습 분류기인 deberta-v3-base는 프롬프트 주입에서 89.01% 정확도와 54ms 지연시간을 기록하며, 데이터와 명확한 정의가 있는 영역에서 여전히 가장 효율적임을 보였다.
• Laya는 원본 정책으로 콘텐츠 안전성에서 57.87%에 불과했으나, 프롬프트 엔지니어링으로 75.20%까지 개선됐다; 반면 Jev의 최적화 정책을 적용하면 Laya 성능이 떨어지는 등 모델별로 필요한 프롬프트 스타일이 다름을 보였다.
• Jev 스타일 모델들은 사전학습 분류기 대비 약간 느린 지연시간(100~500ms)을 보였고, LLM-as-a-judge 모델들은 더 높은 지연시간(190~310ms)을 기록했으나 GPU 인프라 필요로 인한 비용은 높았다.
• 연구진은 Jev가 속도, 비용, 정확도 면에서 LLM-as-a-judge나 사전학습 분류기를 일관되게 능가하지 못하며, 특정 영역별로 맞는 도구를 선택해야 한다고 결론지었다.
• 결정 모델의 장점은 새로운 문제에 즉시 적용 가능하고 구조화된 출력을 보장하는 점이지만, 벤치마크 데이터가 풍부한 보안 분야에서는 작고 빠른 사전학습 모델이 여전히 최고 효율을 제공한다.
• Red Hat OpenShift AI 3.6의 기본 안전장치는 CPU 규모 사전학습 모델을 포함하며, 연구팀은 새로운 결정 API와 영점 학습 분류기를 지원하기 위해 NeMo Guardrails 라이브러리를 확대하고 있다.