다중모달 추론 모델, 공개 데이터로 효율적 학습 방법 제시
원제 MMVistaReason: Toward Open-Data and Post-Training Recipes for Multimodal Reasoning
추천 16댓글 2
Key Point
멀티모달 추론 모델의 공개 학습 레시피가 상용 대규모 모델 대비 효율성과 성능을 동시에 달성하는 구체적 방법을 보여주므로, 오픈소스 멀티모달 AI 개발에 실질적 기준을 제시한다.
핵심 요약
- 멀티모달 추론 모델 학습의 병목인 데이터 품질 저하, 비효율적 감독 구성, 난이도 불균형, 도메인 간 간섭을 해결하기 위해 MMVistaReason(MVR)을 제안했다.
- 분석적 추론과 실제 추론으로 나눈 광범위한 학습 데이터로 구조적 추론과 시각 지각·공간 이해를 모두 커버한다.
- 구조화된 정제와 주석, 난이도 인식 증류, 답변 확률 기반 궤적 선택으로 SFT용 52.8만 개 샘플(MVR-SFT-528K)과 RL용 6.3만 개 샘플(MVR-RL-63K)을 효율적으로 구성했다.
- 상호보완적 RL 전문가 모델을 학습한 뒤 다중 교사 온폴리시 증류(MOPD)로 능력을 통합하는 '전문화-통합' 전략을 도입했다.
- 모델 규모에 따라 감독 난이도와 궤적 품질의 상호작용이 달라지는데, 소형 모델은 선별된 감독에서 더 크게 이득을 보고 대형 모델은 궤적 변동에 견고하다.
- 혼합 도메인 RL은 벤치마크 수준의 음의 전이를 일으키지만 MOPD는 일관된 능력 통합을 제공하며, 선호하는 KL 방향은 모델 규모별로 다르다.
- 15개 멀티모달 벤치마크에서 MVR-4B는 평균 72.8점으로 Qwen3.5-9B(Instruct)와 MMFineReason-8B를 초과했고 MMFineReason 대비 약 70% 적은 샘플을 사용했다.
- 9B 모델로 확장하면 평균 74.4점을 달성해 Qwen3.5-35B-A3B(Instruct)를 앞섰다.
- 공개 데이터의 체계적 구성과 모델 용량을 고려한 학습이 신뢰할 만한 멀티모달 추론으로 향하는 현실적이고 확장 가능한 경로임을 입증했다.