법률 AI 평가 프레임워크 'LexReward' 공개

핵심 요약

• 법률 언어모델의 응답 품질을 평가하기 위해 기존의 단순한 판단 방식으로는 법률 분야의 복잡한 요구사항을 충분히 반영할 수 없다는 문제에서 출발한 연구다.
• LexReward는 법률 응답의 품질을 세 차원으로 평가한다: 어휘·문법적 품질을 보는 Style, 법적 주체·사실·법령·판례를 평가하는 Element, 법률 추론의 순서·완성도·정확성·중복 제거를 보는 Chain.
• 각 차원마다 평가 기준과 품질 수준을 명시한 루브릭(채점 기준표)을 개발했으며, 이를 바탕으로 DPO(Direct Preference Optimization) 훈련과 보상 모델 학습용 쌍 비교 데이터를 구성했다.
• 실험 결과 루브릭 기반 보상이 서로 다른 품질의 법률 응답을 신뢰할 수 있게 구분했으며, 선호도 데이터로 DPO 훈련을 하면 세 차원 모두에서 성능이 향상됨을 확인했다.
• 학습된 보상 모델 LexRM은 각 차원별 보상 모델이 강화학습을 통해 해당 차원의 정책 성능을 개선할 수 있도록 지원하며, 평가 시점에 정답 데이터가 필요 없다.
• 차원별 분석을 통해 제안한 분류 체계와 보상 구성 방식의 효과성을 검증했다.