작은 의사결정 모델, 큰 언어모델 앞지르다

핵심 요약

• 의사결정 모델은 구조화된 작업에서 선택지나 점수를 직접 예측해 자동회귀 디코딩 지연을 피하지만, 생성형 LLM의 순위 매김 지식을 이전하기는 어렵다.
• 의사결정 모델(학생)은 첫 토큰 위치의 점수로 순위를 정하는 반면 생성형 교사는 문서 ID 수열의 순위 목록으로 선호도를 표현하기 때문이다.
• DecisionRank는 항목 공간 정책상 증류(item-space OPD) 기법으로 학생 모델을 학습한다.
• 항목 공간 OPD는 학생의 문서 점수를 정렬된 순위 수열로 변환한 후 생성형 교사가 이를 입력받아 그 점수들을 직접 감독하는 피드백을 제공한다.
• 오프라인 순위 감독과 결합하면 TREC DL, BEIR, BRIGHT 등 일반 검색과 추론 집약적 검색 벤치마크에서 최고 성능을 달성한다.
• 네 벤치마크 모두에서 항목 공간 OPD는 기존 학습 목표들을 일관되게 능가한다.
• 1.7B 매개변수의 DecisionRank는 TREC DL19~23에서 27B 생성형 교사를 앞지르고, 8B 모델은 생성형 리스트와이즈 방식과 동등한 성능을 내면서 TREC DL에서 24.5배, BRIGHT에서 16.7배 빠르게 실행된다.