자연어 정책을 신경기호 프로그램으로 컴파일하는 SCOPE

핵심 요약

• LLM 에이전트의 정책 집행이 단일 턴 콘텐츠 검증에서 여러 턴의 대화와 도구 호출 궤적을 평가하는 복합 정책으로 진화했다.
• 미세 조정한 가드레일 모델은 빠르지만 복합 정책에서 성능이 저하되고, LLM-as-a-judge는 높은 정확도를 달성하지만 추론 비용이 높고 예측이 불안정하다.
• SCOPE는 정책을 신경 술어, 결정적 추출기, 이들의 출력을 조합하는 코드로 이루어진 실행 가능한 프로그램으로 컴파일한다.
• 프로그램은 학습 데이터와 함께 최적화되며, 프로그램이 정책에서 벗어나는 지점을 목표로 하는 대적 반례 생성을 사용한다.
• SCOPE는 프롬프트 최적화, 작업 분해, 워크플로우 생성 방법들에 비해 평균적으로 가장 높은 정확도를 달성했다.
• 약한 실행기로 최적화한 프로그램은 추가 최적화 없이 다른 모델로 전이되어, 저렴한 모델에서도 최첨단 추론 모델과 비슷한 정확도에 도달한다.
• SCOPE는 단일형 모델과 달리 훨씬 안정적인 예측을 생성하며, 각 판정은 그것을 생성한 술어 출력을 통해 해석 가능하다.
• 절제 실험을 통해 방법의 핵심 구성 요소들을 검증했으며, 프로덕션 규모에서 신뢰할 수 있고 해석 가능하며 효율적인 정책 집행을 가능하게 한다.