강화학습으로 추론을 최적화한 의사결정 AI 모델 공개

핵심 요약

• Hugging Face에서 0.8B부터 27B까지 매개변수 규모의 의사결정 모델 'StartLux-Decision'을 발표했다.
• Instant 모델은 양방향 주의 메커니즘으로 단일 패스 추론 속도를 유지하면서 정확도를 높이고, AutoThink 모델은 불확실한 결정에만 명시적 추론을 수행하고 확신 있는 경우는 직접 답한다.
• 3단계 훈련 파이프라인으로 공통 의사결정 능력을 먼저 확립한 뒤 두 모델 변형을 특화하고, 추론 지도학습과 강화학습으로 AutoThink에 추론 능력을 부여한다.
• 새로운 강화학습 기법 RLCD²(Reinforcement Learning for Calibrated Deliberative Decisions)는 고정된 모델과 적절한 채점 규칙을 사용해 의사결정 확률 품질 개선을 보상하고, 과도하게 긴 추론에는 소프트 페널티를 적용한다.
• RLCD²는 생성 제한 내에서 종료되는 추론의 비율을 최대 48 포인트 올리고 평균 추론 길이를 최대 65% 줄이면서 의사결정 정확도는 대부분 유지한다.
• 공개 Decision Index 0.3 부분 집합에서 Instant 모델은 비교 가능한 규모의 오픈웨이트 의사결정 모델을 7.4~16.9 포인트 능가했고, 27B AutoThink 모델은 73.4를 달성했다.
• 쌍 정확도에서 AutoThink는 DecisionPivot 벤치마크에서 Instant 모델을 11.5~18.4 포인트 앞질렀으며, 평가 대상 시스템 중 최고 성능을 보였다.
• DecisionPivot은 답을 바꾸는 단일 세부사항만 다른 대조 쌍으로 구성된 프로그래매틱 검증 가능 벤치마크다.
• 모델은 vLLM, llama.cpp, MLX에서 실행되며 저용량 사용을 위한 양자화 변형도 제공된다.