WeMM-Video, 오픈소스 멀티모달 비디오 이해 모델 공개
원제 WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding
추천 43댓글 3
Key Point
오픈소스 멀티모달 비디오 모델이 상용 모델을 넘어서는 성과가 나왔고, 특히 소형 모델(9B)이 훨씬 큰 경쟁 모델을 이기는 효율성을 보여준다.
핵심 요약
- 음성과 함께 비디오를 이해하는 멀티모달 작업이 중앙 과제로 남아있는 가운데, 웨이즈(Wize)가 WeMM-Video라는 중영문 쌍언어 오픈소스 모델군을 공개했다.
- 2B, 4B, 9B, 35B-A3B 등 4개 규모의 모델을 제공하며, 텍스트·이미지·음성·비디오를 한 패러다임 안에서 처리한다.
- 빠른 응답을 위한 인스트럭트 모드와 단계별 추론을 위한 싱킹(thinking) 모드를 모두 지원한다.
- 약 1.2조 개의 토큰으로 구성된 대규모 멀티모달 코퍼스를 사용해 단계적 사전학습 및 다중 단계 후학습(다중 교사 OPD, 반복방지 MrDPO, 전문가 RL)을 거쳤다.
- 120개 이상의 벤치마크로 평가했을 때, 플래그십 모델인 WeMM-Video-35B-A3B는 오픈소스 중 최고 성능을 달성해 Qwen3.5-Omni-Flash, Seed2.0-Mini-0428 같은 상용 모델을 능가했고 Gemini-3.0-Flash와의 격차를 좁혔다.
- 9B 모델도 더 큰 오픈소스 모델인 Qwen3-Omni-30B-A3B-Instruct를 능가한다.
- 일반 음성, 무음 비디오, 이미지, 텍스트 작업에서도 경쟁력 있는 성능을 유지한다.
- 모델과 평가·재현 파이프라인을 공개해 오픈소스 커뮤니티의 추가 연구를 촉진하겠다는 입장이다.