전문가 윤리규범 위반 감지하는 러시아어 벤치마크 공개

핵심 요약

• 전문 분야 윤리규범을 위반하는 요청을 감지하기 위한 TenetBench 데이터셋을 공개했다.
• 러시아 15개 전문 분야 코드 조항과 충돌하는 3,433개 요청과, 요청의 적절성만 다른 동일한 요청 쌍으로 구성되어 있다.
• 자동 파이프라인이 코드 텍스트에서 작업을 생성하므로 새 코드가 추가될 때마다 데이터셋이 확장되고, 실행할 때마다 새 작업이 생성된다.
• 영어 코드 2개로부터도 작업과 인간 검증 판정을 생성했으며, 전문가들이 위반 요청의 99.5%를 타당하다고 평가했다.
• 모델 판정자가 인간 판정과의 일치도(Gwet's AC1)를 0.894 이상으로 달성했으며, 1,860개 요소에 대해 검증되었다.
• 14개 모델과 추론 방식 조합을 평가한 결과, 11개가 대부분의 위반 요청에 대해 위반 내용을 생성했으며 경고 없이 그러했다.
• 위반 내용 생성 경우의 약 75%에서 경고가 함께 나타났지만, 대부분의 경우 경고 없이 위반 내용이 제공되었다.
• 더 높은 준수율을 보인 모델들은 부적절한 요청을 거절하면서도 적절한 쌍 요청에는 계속 응했다.
• 추론 기능 활성화(reasoning mode)는 두 모델의 거절 비율을 50% 감소시켰다.
• 데이터셋과 파이프라인이 언어 모델의 전문 규범 준수 방식을 평가하고, 특정 직종과 조직을 위한 진단용 데이터셋 구축을 돕기를 기대한다.