규칙 추론 벤치마크 RuleTrek 공개, LLM의 한계 드러내다

핵심 요약

• 대형언어모델이 특화된 도메인의 복잡한 실무 작업을 수행할 때 여러 파일에 분산된 정보 중에서 도메인별 규칙을 식별하고 적용하는 것이 어려운 상황이다.
• 기존 규칙 추론 벤치마크는 시나리오를 소수의 사실 진술로만 표현해 규칙 식별과 적용을 지나치게 단순화했다.
• 연구팀이 발표한 RuleTrek은 복잡한 시나리오에서 에이전트 기반 규칙 추론을 평가하는 다중 도메인 벤치마크다.
• 구조화된 규칙 그래프를 추출하고, 규칙별 부분 시나리오를 생성·조합하면서 일관성과 해결 가능성을 보장하는 파이프라인으로 구축됐다.
• 이 벤치마크는 대화형 작업 환경에서 규칙 식별(RI), 규칙 추론(RD), 종단 간 규칙 추론(E2E) 세 가지 능력을 측정한다.
• 11개의 최신 LLM 실험 결과 규칙 식별 최고 성능은 62.47%, 규칙 추론은 60.43%, 종단 간 추론은 26.97%~55.29%에 불과했다.
• 현재 LLM 에이전트들이 복잡한 시나리오에서의 규칙 추론에 상당한 어려움을 겪고 있음을 보여준다.
• 코드와 데이터셋은 GitHub에 공개됐다.