의료 AI의 포용성을 측정하는 'InclusionMed' 벤치마크 공개
원제 InclusionMed: Benchmarking AI for Inclusive Healthcare
추천 100댓글 2
Key Point
의료 AI 모델마다 역할별·능력별 성능이 크게 차이 나므로, 단순 순위만으로는 실제 임상 환경에 맞는 모델을 선택할 수 없다는 점을 보여준다.
핵심 요약
- 다양한 의료 역할과 AI 능력에 걸쳐 의료 AI를 평가하기 위한 오픈 평가 이니셔티브 'InclusionMed'를 소개한다.
- InclusionMed Atlas는 3가지 의료 역할과 3가지 AI 능력 조합으로 벤치마크를 체계적으로 구성하며, 388개 후보 중 구조화된 감시를 거쳐 4개의 공개 벤치마크와 자체 진단 추론 벤치마크 'InclusionMed-DxFiles'를 선정했다.
- 최신 대규모 언어 모델들을 Atlas에서 평가한 결과 InclusionMed Index 점수는 100점 만점에 17.5~49.1점 범위로 분포했으며, 모델의 순위는 평가 대상 의료 역할이나 AI 능력에 따라 달라졌다.
- 상위 10개 모델 모두 임상 의사결정보다 환자 소통 과제에서 더 높은 점수를 얻었으며, 비슷한 종합 점수를 받은 모델들도 추론 비용에서는 상당한 차이를 보였다.
- 다양한 의료 요구를 반영하는 평가 확대와 맥락별 모델 선택의 필요성을 강조하며, 커뮤니티의 열린 협력을 통해 전 세계 의료 AI 발전의 기준을 함께 정의해나갈 계획이다.