폐쇄형 선택지 판정용 소형 언어 인코더 설계 방식 비교

핵심 요약

• 도구 선택 같은 폐쇄형 결정 작업을 위해 얼마나 작은 인코더를 쓸 수 있는지, 그리고 선택지를 함께 읽을지 개별로 읽을지를 비교하는 연구다.
• 3개 시드로 3천2백만 파라미터에서 실험한 결과 선택지별 채점(per-option scoring) 방식이 37개 벤치마크 병합 테스트에서 공동 채점(joint scoring) 방식을 보정 후 5.8점 능력 차이로 이기고, 유사한 훈련량 조건에서는 2.8점 앞선다.
• 외부 벤치마크 2개도 이 경향을 보였으나 미학습 작업에서는 통계적 유의성이 없다.
• 선택지별 방식은 인코더를 5배~13배 더 실행해야 해서 중간값 지연 시간은 2배 이내지만 평균 지연은 4배 이상이다.
• 1천7백만~10억 파라미터 공동 인코더 6개를 공개했으며, 6천8백만과 1억5천만 파라미터 모델이 435백만 파라미터 DeBERTa-v3 제로샷 분류기를 209개 System1-Arena 작업에서 4.9점과 5.9점으로 앞선다.
• 가장 작은 모델은 중앙값 14밀리초로 요청을 처리하고(16개 프로세서 스레드), 제로샷 분류기는 728밀리초가 필요하다.
• 공동 모델들은 선택지 순서 변경에 따라 12~23% 답변이 바뀌지만 선택지별 방식은 순서 영향을 받지 않는다.
• 6천8백만 파라미터까지는 공개 리더보드의 비공개 분배내 테스트에서 같은 크기 범위 모델 중 가장 우수한 성능을 보인다.