법률 AI 평가 프레임워크 'LexReward' 공개
Key Point
법률 분야 AI 시스템의 성능을 정밀하게 평가하고 최적화할 수 있는 방법론이 제시되어, 법률 특화 언어모델의 개발 품질을 크게 높일 수 있다.
핵심 요약
- 법률 언어모델의 응답 품질을 평가하기 위해 기존의 단순한 판단 방식으로는 법률 분야의 복잡한 요구사항을 충분히 반영할 수 없다는 문제에서 출발한 연구다.
- LexReward는 법률 응답의 품질을 세 차원으로 평가한다: 어휘·문법적 품질을 보는 Style, 법적 주체·사실·법령·판례를 평가하는 Element, 법률 추론의 순서·완성도·정확성·중복 제거를 보는 Chain.
- 각 차원마다 평가 기준과 품질 수준을 명시한 루브릭(채점 기준표)을 개발했으며, 이를 바탕으로 DPO(Direct Preference Optimization) 훈련과 보상 모델 학습용 쌍 비교 데이터를 구성했다.