10년 된 CNN이 최신 LLM을 이기다, 피부암 진단
원제 A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis
295 포인트댓글 147
Key Point
이 글은 대규모 언어모델의 의료 진단 능력이 특화된 구형 모델에 미치지 못한다는 구체적인 임상 증거를 보여주며, LLM이 모든 분야에서 기존 방식을 대체할 수 없음을 시사한다.
핵심 요약
- 2015년 구글이 발표한 Inception v3 CNN을 피부과 이미지로 20분 정도 미세조정한 모델이 GPT-6 Astra와 Claude Fable 5.1 두 최신 LLM을 피부암 진단에서 압도했다.
- 임상 사진과 피부경 이미지를 포함한 조직검사로 확진된 200개 병변 테스트에서 CNN은 125개(62%)를 올바르게 진단했지만 두 LLM은 각각 84개와 85개(42%)만 정확했다.
- 테스트 병변은 MILK10k 공개 데이터셋에서 무작위 선정했으며, 진단 불가능 범주 100개(흑색종 30, 기저세포암 25, 편평세포암 25, 광선각화증 20)와 안전 범주 100개(양성모반 50, 지루각화증 50)로 구성됐다.
- CNN은 특히 양성 병변 인식에서 우수했는데, 모반 50개 중 37개, 지루각화증 50개 중 26개를 정확히 판단했고, 두 LLM은 각각 16개와 13개, 33개와 6개에 그쳤다.
- 흑색종 진단에서는 CNN이 30개 중 13개를 첫 선택으로 맞춰 LLM의 8개, 11개보다 나았으나, 1차 또는 2차 선택을 함께 보면 CNN 173개, LLM 134개와 138개였다.
- 두 LLM은 선호하는 진단이 있었는데 GPT-6 Astra는 기저세포암을 과진단했고(흑색종 30개 중 14개를 기저세포암으로), Claude는 광선각화증으로 과진단했다.
- CNN은 경계값을 기본 설정으로 했을 때 안전한 병변 100개 중 76개를 제대로 방출했지만, 위험한 병변 100개 중 77개를 보관(생검·추적 필요)했고, 흑색종 30개 중 18개를 부적절하게 방출했다.
- 테스트 한계로는 200개 병변은 패턴을 보이기에는 충분하지만 순위 판정에는 부족하고, 30개 흑색종만으로는 최중요 수치(흑색종 방출률)에 불확실성이 크며, 모든 병변이 조직검사를 받아 어려운 사례만 포함됐다.
- MILK10k는 2025년부터 공개되어 LLM 학습 데이터에 포함될 가능성이 있지만, CNN은 확실히 이 데이터를 보지 않았다.
- Inception v3는 기준선 모델일 뿐이며, 최신 피부암 AI는 이미지 트랜스포머 앙상블을 사용하고 규제 제품은 훨씬 더 우수한 성능을 낸다.
- 환자 입장으로 임상 사진만 보고 '의사를 봐야 하나'는 질문을 받았을 때, 두 LLM은 무해한 병변을 포함해 거의 모든 경우에 의사 방문을 권했다.
- 저자는 킹스칼리지런던 명예독자이자 가이's 병원 피부과 전문의 Magnus Lynch이며, 테스트 설계와 임상 판단을 스스로 했고 코드는 Claude Code로 작성했다.