객체부터 픽셀까지, 시각-언어 모델의 정밀 인식 통합
원제 WeVisOne-VL: Unified Visual Perception from Objects to Pixels
추천 243댓글 2
Key Point
기존 비전-언어 모델들의 가장 큰 약점인 세밀한 시각 인식 신뢰성을 단일 모델로 해결하는 방법을 제시하여, VLM 기반 시스템의 실제 배포 가능성을 높였다.
핵심 요약
- 웨이신(WeChat) 팀이 WeVisOne-VL이라는 새로운 비전-언어 모델을 공개했으며, 객체 수준과 픽셀 수준의 시각 인식을 구조화된 토큰 예측으로 통합한다.
- 모델은 물체 탐지, 참조 위치파악, 개수 세기, OCR, 분할, 매팅 등 여러 시각 작업을 지원하며, 점과 상자부터 마스크와 알파 매트까지 사용자가 원하는 수준의 위치 파악을 가능하게 한다.
- 가벼운 픽셀 디코더를 특수 토큰을 통해 VLM에 통합하여 인스턴스 수준의 픽셀 출력을 생성한다.
- 3단계 커리큘럼 SFT(지도학습 파인튜닝) 후 혼합 작업 강화학습으로 학습한다.
- 30개 이상의 벤치마크에서 객체 수준과 픽셀 수준 작업 모두에서 최고 성능을 달성하며, 객체가 없는 쿼리에 대한 신뢰할 수 있는 거절도 유지한다.
- 기존 VLM의 세밀한 시각 인식의 신뢰성 문제를 해결하기 위해 오픈소스로 공개했다.