흉부 X선 분석을 위한 문장 중심 비전-언어 모델 SentZero
원제 SentZero: An Enhanced Sentence-Centric Vision-Language Pretraining for Multi-Task Zero-Shot Chest X-Ray Analysis
추천 25댓글 1
Key Point
방사선학 텍스트의 특성을 고려한 새로운 문장 수준 설계와 거짓 음성 완화 기법이 흉부 X선의 미세조정 없는 분석 성능을 크게 향상시킨다.
핵심 요약
- 흉부 X선(CXR) 이미지와 방사선 리포트를 사용한 비전-언어 사전학습이 의료 영상 이해에 유망하지만, 기존 방법들은 긴 임상 리포트를 간단한 제로샷 프롬프트로 정렬하기 어려워 작업별 미세조정에 의존한다.
- 최근 문장 수준 접근법이 LLM으로 추출한 임상 구문을 사용해 이를 부분적으로 개선했으나, 방사선학 텍스트의 내재적 특성을 간과하고 양성 쌍의 다양성이 제한되어 있다.
- 임상적으로 동등한 문장이 환자 간에 반복되면서 대조 학습에서 거짓 음성이 발생하는 문제가 있다.
- 이를 해결하기 위해 SentZero는 LLM 기반 추상 수준 문장 구조화와 매핑으로 양성 쌍 다양성을 확대하고 거짓 음성을 완화하는 손실 함수를 추가했다.
- 문장 조건부 잔차 변조(sentence-conditioned residual modulation)를 도입해 시각 임베딩이 각 입력 문장의 의미론적 특성에 적응하도록 했다.
- 다양한 하위 작업과 데이터셋에서 SentZero는 제로샷 일반화 성능을 개선하고 기존 다중 작업 제로샷 방법들을 능가한다.