음성·영상 추론 AI의 환각 현상, 증거 우선순위 재조정으로 해결
원제 Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs
추천 37댓글 2
Key Point
음성과 영상을 동시에 처리하는 멀티모달 AI 모델의 성능 문제를 추론 단계에서 해결하는 새로운 방법이 다양한 모델에서 검증되었기 때문이다.
핵심 요약
- 멀티모달 추론이 가능한 최신 대형언어모델(OLLM)이 음성과 영상을 함께 처리할 때 교차모달 환각이 발생하는 문제가 있다.
- 기존 방법들은 출력 단계에서만 처리하며 융합 표현 내의 근거 증거와 학습된 사전지식의 얽힘을 간과했다.
- Omni-Woodpecker(OWP)라는 훈련 불필요 프레임워크는 교차모달 충돌을 식별한 후 숨겨진 상태에서 증거와 경쟁하는 사전지식을 분리한다.
- 직교 분해를 사용해 근거 증거는 복원하고 오도하는 사전지식은 억제하는 방식으로 융합 표현을 선택적으로 재균형한다.
- Qwen2.5-Omni-7B를 백본으로 사용했을 때 CMM 벤치에서 12.9점, AVHBench에서 8.6점 성능 향상을 보였다.
- 일반 OLLM 추론 벤치 4개에서 0.67~2.25점 일관된 개선을 달성했으며, VideoLLaMA2-AV 모델에서도 같은 벤치에서 각각 4.6점과 3.9점 향상했다.
- 코드는 공개 저장소에서 자유롭게 사용 가능하다.