오디오-비주얼 추론 벤치마크와 학습법 제시한 OmniReasoning 논문
원제 OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning
추천 22댓글 2
Key Point
오디오와 비주얼 정보를 함께 활용해야 하는 멀티모달 추론이 현실 문제 해결에 중요해지는 만큼, 이를 측정하는 기준과 학습 방식이 필요한 시점에 제시된 실질적인 해결책이다.
핵심 요약
- 최근 음성·시각·언어를 통합으로 이해하는 옴니모달 모델들이 발전했으나, 기존 벤치마크와 학습 방식은 각 모달리티를 독립적으로 다루며 오디오-비주얼 결합 추론 능력을 제대로 평가하지 못하는 문제를 지적했다.
- 이를 해결하기 위해 벤치마크, 데이터 생성 엔진, 학습 방법을 함께 제시했다.
- OmniReasoningBench는 오디오와 비주얼 증거가 모두 필수적인 1,150개 객관식·개방형 문제로 구성되며, 비디오 추론과 비디오 외 추론 두 가지 과제를 포함한다.
- OmniQA 데이터 엔진은 오디오-비주얼 결합 추론을 명시적으로 요구하는 QA 쌍과 사고 과정 주석을 위한 시간 기록된 단서 체인을 자동으로 생성하며, OmniReasoning-SFT-112K와 OmniReasoning-RL-19K 학습 데이터를 산출한다.
- Modality-Factored Self-Distillation (MFSD) 학습 방법은 각 샘플 응답을 모달리티별 단서 맥락에서 평가하고, 개별 단서와 교차 모달 상호작용의 기여도를 분리하여 토큰 단위 신용 할당을 수행한다.
- OmniReasoning-30B-A3B 모델은 OmniVideoBench 50.0%, OmniReasoningBench 42.5%를 달성하여, 기존 Qwen3-Omni-30B-A3B-Thinking 모델 대비 각각 12.8, 9.3 포인트 개선했다.
- Video-MME-v2를 포함한 일반 및 장문 비디오 벤치마크에서도 상당한 성능 향상을 보였다.