Hacker NewsAI · 머신러닝

Perplexity, 의사결정 특화 AI 모델 Decider v1.3 공개

원제 Perplexity Decider v1.3: Training, eval, and use cases

103 포인트댓글 21
Key Point

의사결정 전문 AI 모델로 한 번의 연산으로 여러 분류 작업을 수행해 기존 LLM 대비 훨씬 빠르고 저렴하게 구조화된 답변이 필요한 서비스(검색, 라우팅, 필터링 등)를 처리할 수 있다.

핵심 요약

  • Perplexity가 Decider v1.3과 Decider Flash v1.3을 출시했으며, 양쪽 모두 Hugging Face(Apache 라이선스), OpenRouter, Perplexity Decisions API를 통해 이용 가능하다.
  • 의사결정 모델은 입력과 질문 집합을 받아 각 질문에 대한 확률 분포를 반환하는 범용 분류기로, Yes/No(이진), 다중선택, 점수(순서 있는 수준) 세 가지 질문 유형을 지원한다.
  • 기존 생성형 LLM 대신 의사결정 모델을 사용하면 단일 포워드 패스에서 여러 질문을 동시에 처리하므로 토큰 하나씩 생성하는 오버헤드를 피하고 계산을 공유할 수 있다.
  • Qwen 3.8-27B 백본에 양방향 어텐션, 정제된 학습 데이터, 개선된 훈련 알고리즘을 적용해 성능을 높였으며, v1.3에서는 'locate' 기능을 추가해 개체명, 개인정보, 추출형 질의응답 작업에서 텍스트를 찾아 정확한 위치를 반환한다.
  • 양방향 어텐션의 상태-질문 상호작용 방식으로 '격리된 질문' 설계를 채택했는데, 상태가 모든 질문을 보지만 각 질문은 상태와 자신의 토큰만 보도록 해 안정성을 높였다.
  • 훈련은 3단계로 진행된다: (1) 대규모 말뭉치로 완전 미세조정, (2) LoRA로 도메인 특화 데이터 추가, (3) 시각 능력 단계이며, 대형 모델 완성 후 같은 절차를 반복해 소형 모델을 학생으로 삼는 증류식 학습을 적용한다.
  • Locate 기능 학습을 위해 InfoNCE 손실함수를 변형해 정확한 스팬이 임계값 위로 올라가고 오답이 임계값 아래에 있도록 훈련하며, 적응기를 병합하면 기존 분류 작업에서 성능이 떨어져 현재는 적응기를 분리된 상태로 유지한다.
  • Hugging Face Decision Index, Vals AI ClaimBench, Artificial Analysis Decision Index에서 평가했을 때 Decider v1.3은 Query 분류에서 91.6% 정확도로 기존 시스템보다 6.54포인트 앞서고, 도메인 특화 분류(금융 12.9포인트, 법무 9.3포인트 앞선)에서도 Jev 1.14를 능가한다.
  • 검색 및 재순위 지정에서 72개 작업의 평균 nDCG@10 83.99로 Qwen3-Reranker-8B(81.18)와 Jev 1.14(81.75)를 초과하고, 8개 언어 19개 작업의 다국어 분류에서 88.16% 정확도(Jev 85.41% 대비)로 모든 8개 언어에서 앞선다.
  • Locate 기능의 정보추출 작업에서 평균 점수 69.0(Flash 63.6)으로 Liquid d1(43.3), Clairic(41.5), GLiNER(33.6)을 크게 초과했으며, 이미지 분류에서는 76.99% 정확도로 Jev를 1.47포인트 앞섰다.
  • Perplexity API의 첫 18일간 샘플 처리한 실제 요청 180만 개에서 Decider v1.3이 93.98% 판단자 동의율을 달성해 v1.2(93.68%)와 Jev(93.35%)를 능가했고, 특히 정보추출에서 0.93포인트, 의도·라우팅에서 1.21포인트 앞선다.
  • 선택지 재정렬, 라벨 교체, 라벨명 변경 후에도 Decider v1.3은 0.27% 비율로만 답변을 바꿨으나 Jev 1.14는 2.69~4.84%, 동일 입력 반복 시 1.88% 변동성을 보여 안정성 면에서 우수하다.
  • Perplexity는 Decider를 보안 규칙 자동개선(하루 만에 7,000개 에이전트 세션의 10억 토큰 검토, 14개 규칙 결함 발견, 6개 내 2일 내 배포), 강화학습 롤아웃 모니터링(도구 실패, 샌드박스 오류, 부당한 보상 판단 감지), 페이지 품질 필터링(낮은 품질 페이지, 스팸, 개인정보 보유 페이지 제외)에 운영 중이다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗