대화형 AI의 '절차적 환각' 측정하는 벤치마크 공개
원제 DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents
추천 12댓글 2
Key Point
대화형 AI가 단순히 그럴듯한 답변만 하는 게 아니라 올바른 절차를 따르는지 평가하는 새로운 방식이 필요해지면서, 이를 표준화할 수 있는 벤치마크가 제시되었기 때문이다.
핵심 요약
- LLM 기반 대화 에이전트는 절차적 논리를 따라야 하지만, 사실적으로는 그럴듯하면서도 의도된 대화 프로세스에서 벗어나는 '절차적 환각' 오류가 간과되어 왔다.
- 연구진이 처음으로 이를 측정하는 벤치마크 'DialFork'를 제안했으며, 12개 영역의 24개 작업에서 36,278개 대화로 구성되어 있다.
- 원본 대화를 특정 지점에서 포크한 후 4가지 유형의 환각을 주입하는 방식으로 구축했으며, 30명의 인간 주석자가 검증했다.
- 배포된 에이전트 모니터링, 단일 대화의 절차적 이탈 감지, 실시간 가드레일 등 3가지 평가 작업을 정의했다.
- 대화 흐름을 기반으로 비교하는 'FlowKL'과 'FlowScore' 메트릭을 제안하여, 내용 유사도만으로는 절차적 유사도를 측정할 수 없음을 보였다.
- FlowScore는 7가지 인코더 전반에서 모든 기준 모델을 크게 상회하며, 의미적 유사도는 절차적 유사도의 대체재가 될 수 없음을 입증했다.
- DialFork는 MIT 라이선스로 공개되었다.