샤오미, 영역 지정 이해 강화한 4B 멀티모달 모델 공개

핵심 요약

• 샤오미가 Qwen3.5 기반의 4B 멀티모달 대형언어모델(MLLM) Xiaomi-Lens-0을 발표했다.
• 기존 MLLM은 전체 이미지 질문에는 강하나 세밀한 영역 이해에 약한데, 텍스트 감독만으로는 어느 영역이 답변을 지지하는지 명시되지 않기 때문이다.
• Xiaomi-Lens-0은 자신의 시각 표현에서 마스크를 예측하는 방식으로 이를 해결한다.
• 경량 디코더가 비전 인코더 패치 특성과 시각 잠재변수(LM의 마스크-토큰 상태)를 결합하여 추가 분할 인코더 없이 마스크 감독이 공유 백본에 도달한다.
• 각 잠재변수가 마스크로 디코딩되므로, 모델은 영역별 잠재변수와 함께 추론을 교차시킬 수 있으며, 체인-오브-생각 추론 과정에서 방문한 영역을 감독한다.
• RefCOCO, RefCOCO+, RefCOCOg의 8가지 분할에서 Qwen3.5 대비 지칭 이해 성능이 평균 5.6포인트 향상됐다.
• 비교 대상 모델 중 가장 높은 분할 cIoU(교집합 대비 합집합)를 달성했으며, 모든 지각 벤치마크에서 Qwen3.5를 능가한다.