Perplexity, 의사결정 특화 AI 모델 Decider v1.3 공개
원제 Perplexity Decider v1.3: Training, eval, and use cases
103 포인트댓글 21

Key Point
의사결정 전문 AI 모델로 한 번의 연산으로 여러 분류 작업을 수행해 기존 LLM 대비 훨씬 빠르고 저렴하게 구조화된 답변이 필요한 서비스(검색, 라우팅, 필터링 등)를 처리할 수 있다.
핵심 요약
- Perplexity가 Decider v1.3과 Decider Flash v1.3을 출시했으며, 양쪽 모두 Hugging Face(Apache 라이선스), OpenRouter, Perplexity Decisions API를 통해 이용 가능하다.
- 의사결정 모델은 입력과 질문 집합을 받아 각 질문에 대한 확률 분포를 반환하는 범용 분류기로, Yes/No(이진), 다중선택, 점수(순서 있는 수준) 세 가지 질문 유형을 지원한다.
- 기존 생성형 LLM 대신 의사결정 모델을 사용하면 단일 포워드 패스에서 여러 질문을 동시에 처리하므로 토큰 하나씩 생성하는 오버헤드를 피하고 계산을 공유할 수 있다.
- Qwen 3.8-27B 백본에 양방향 어텐션, 정제된 학습 데이터, 개선된 훈련 알고리즘을 적용해 성능을 높였으며, v1.3에서는 'locate' 기능을 추가해 개체명, 개인정보, 추출형 질의응답 작업에서 텍스트를 찾아 정확한 위치를 반환한다.
- 양방향 어텐션의 상태-질문 상호작용 방식으로 '격리된 질문' 설계를 채택했는데, 상태가 모든 질문을 보지만 각 질문은 상태와 자신의 토큰만 보도록 해 안정성을 높였다.
- 훈련은 3단계로 진행된다: (1) 대규모 말뭉치로 완전 미세조정, (2) LoRA로 도메인 특화 데이터 추가, (3) 시각 능력 단계이며, 대형 모델 완성 후 같은 절차를 반복해 소형 모델을 학생으로 삼는 증류식 학습을 적용한다.
- Locate 기능 학습을 위해 InfoNCE 손실함수를 변형해 정확한 스팬이 임계값 위로 올라가고 오답이 임계값 아래에 있도록 훈련하며, 적응기를 병합하면 기존 분류 작업에서 성능이 떨어져 현재는 적응기를 분리된 상태로 유지한다.
- Hugging Face Decision Index, Vals AI ClaimBench, Artificial Analysis Decision Index에서 평가했을 때 Decider v1.3은 Query 분류에서 91.6% 정확도로 기존 시스템보다 6.54포인트 앞서고, 도메인 특화 분류(금융 12.9포인트, 법무 9.3포인트 앞선)에서도 Jev 1.14를 능가한다.
- 검색 및 재순위 지정에서 72개 작업의 평균 nDCG@10 83.99로 Qwen3-Reranker-8B(81.18)와 Jev 1.14(81.75)를 초과하고, 8개 언어 19개 작업의 다국어 분류에서 88.16% 정확도(Jev 85.41% 대비)로 모든 8개 언어에서 앞선다.
- Locate 기능의 정보추출 작업에서 평균 점수 69.0(Flash 63.6)으로 Liquid d1(43.3), Clairic(41.5), GLiNER(33.6)을 크게 초과했으며, 이미지 분류에서는 76.99% 정확도로 Jev를 1.47포인트 앞섰다.
- Perplexity API의 첫 18일간 샘플 처리한 실제 요청 180만 개에서 Decider v1.3이 93.98% 판단자 동의율을 달성해 v1.2(93.68%)와 Jev(93.35%)를 능가했고, 특히 정보추출에서 0.93포인트, 의도·라우팅에서 1.21포인트 앞선다.
- 선택지 재정렬, 라벨 교체, 라벨명 변경 후에도 Decider v1.3은 0.27% 비율로만 답변을 바꿨으나 Jev 1.14는 2.69~4.84%, 동일 입력 반복 시 1.88% 변동성을 보여 안정성 면에서 우수하다.
- Perplexity는 Decider를 보안 규칙 자동개선(하루 만에 7,000개 에이전트 세션의 10억 토큰 검토, 14개 규칙 결함 발견, 6개 내 2일 내 배포), 강화학습 롤아웃 모니터링(도구 실패, 샌드박스 오류, 부당한 보상 판단 감지), 페이지 품질 필터링(낮은 품질 페이지, 스팸, 개인정보 보유 페이지 제외)에 운영 중이다.