반복 순회로 빠른 추론 성능을 높인 SanSi 모델

핵심 요약

• 사전학습된 언어모델을 타입화된 결정 모델로 변환하는 SanSi를 제안한다.
• 기존의 단일 전향 통과(System 1 사고)와 생성형 추론 사이의 중간 영역을 탐색하기 위해 루핑(같은 레이어를 재귀적으로 여러 번 적용)을 도입했다.
• 각 루프마다 모델이 답변을 생성하지 않고 숨겨진 상태를 수정한 후 의사결정 헤드로부터 각 선택지의 확률을 읽는다.
• 한 번에 1~8개 루프까지 다양한 예산을 충족할 수 있도록 모든 루프에 적절한 채점 규칙(proper scoring rule)을 적용해 훈련한다.
• 59개 소스의 10,027개 테스트 결정에서 SanSi는 72.0% 정확도를 달성했다.
• 같은 구조의 비루핑 모델 대비 13.5%포인트 높고, 같은 크기의 더 최신 비루핑 모델 대비 5.3%포인트 높으며, 매개변수 3배인 모델 대비 1.8%포인트 낮다.
• 심도 제어 작업 2개에서는 루핑이 훈련 데이터에서 본 심도를 넘어 해결 가능한 심도를 확장하는 것을 확인했고, 같은 크기의 단일 전향 모델은 이를 실패했다.
• 강화학습 기반 정책 최적화의 판사로 사용했을 때 금표(gold answer) 없이도 생성 모델의 F1을 7.7포인트 높였다.