의료 AI 검증 시스템의 숨은 한계, 자동 분류로 드러내다

핵심 요약

• 의료 데이터에서 검색한 근거로 LLM 생성 답변의 사실성을 확인하는 검색 기반 평가가 임상 환경에서 주류 방식이 되었으나, F1 같은 집계 지표는 실패의 원인과 위치를 불명확하게 남긴다.
• MedExpert 데이터셋과 3개의 폐쇄형 데이터셋 사례 연구에서 검색 단계 오류 5가지와 검증 추론 오류 6단계를 분류하는 두 개의 체계적 분류법을 개발했다.
• LLM을 판사로 삼아 증거 품질을 라벨링하고 검증 오류를 자동으로 분류하는 패턴 귀납 파이프라인을 적용하여 4가지 검색 방식과 6개 최신 검증 모델에서 대규모로 검증했다.
• 모델 크기 확대, 추론 노력 증가, 의료 웹 출처 추가, 의료 미세조정 등 어떤 개선도 이 오류들을 해결하지 못하며, 이는 구식 시스템의 결함이 아닌 개방형 의료 환경에서 검색-검증 패러다임의 근본적 한계임을 보여준다.
• 코드와 데이터는 논문 익명 저장소에서 공개되었다.