의료 이미지 이해, 자동회귀 없이 한 번에 판단하다
원제 MedJev: A System One Vision-Language Decision Model for Fast and Effective Medical Image Understanding
추천 12댓글 2
Key Point
의료 영상 분석에서 추론 속도를 6배 이상 높이면서 정확도도 개선한 새로운 접근법이 등장해, 실시간 진단이 필요한 의료 AI 시스템의 효율성 개선 가능성을 보여준다.
핵심 요약
- 기존 의료 영상 분석 모델은 비전-언어 모델(VLM)로 추론 과정과 답변을 자동회귀 방식으로 생성해 불필요한 토큰이 많이 생기고 추론 비용이 증가한다.
- MedJev는 의료 이미지, 질문, 후보 답변을 한 번의 멀티모달 포워드 패스에서 직접 판단으로 매핑하는 시스템으로, 자동회귀 생성 과정을 완전히 제거한다.
- 언어 상층 레이어와 생성 출력 경로를 제거하면서 전체 비전 경로와 모든 시각 토큰은 유지하고, 미리 학습된 쿼리-키 매칭으로 각 후보를 점수 매긴 후 경량 MLP 잔차로 점수를 정제한다.
- Qwen3.5-4B 기반인 MedJev-4B는 4개의 의료 이미지 분류 및 시각 질문 응답 벤치마크에서 원본 모델 대비 정확도는 절대 7.93% 향상, 추론 속도는 6.04배 가속화했다.
- 20개의 최신 모델과의 비교에서 MedJev-4B는 4B~9B 범위의 일반 및 의료 VLM 중 최고 성능과 추론 속도를 달성했다.