세밀한 시각 이해를 위해 생성 모델의 정보 활용
원제 What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models
추천 38댓글 2
Key Point
멀티모달 모델에서 생성 능력이 이해 성능까지 높일 수 있다는 새로운 접근법을 보여주며, 공간 관계 같은 세밀한 차이 구별이 중요한 시각 작업에서 실질적 개선을 입증했다.
핵심 요약
- 세밀한 시각 이해(Fine-grained visual understanding)는 미묘한 차이와 공간 관계를 구별해야 하는데, 현존 비전-언어 모델들에겐 여전히 어렵다.
- 통합 멀티모달 모델(UMM)에서 생성 경로는 이해 경로를 보완하는 풍부한 시각 정보를 보존하지만, 기존 방식들은 생성 측 표현을 직접 활용하지 않았다.
- 연구팀은 생성 측 표현이 세밀한 의미 변화에 더 민감하고, 이해 측에서 놓치는 작업 관련 변화를 포착하며, 공간 구조에 올바르게 의존한다는 것을 발견했다.
- GAFU라는 사후학습 프레임워크를 설계했으며, 생성 측 시각 표현을 압축된 G 토큰으로 변환하여 세밀한 시각 정보를 보존하고 이해 경로가 작업 조건에 맞춰 검색할 수 있게 한다.
- VStar-Bench에서 20.00%, OmniSpatial에서 17.94%, VSR-Bench에서 8.62%의 상대 성능 개선을 달성하며, 동일한 데이터로 훈련한 SFT 기준선을 일관되게 능가한다.
- GAFU는 생성 경로의 보완 정보를 세밀한 시각 이해의 성능 향상으로 전환하여, UMM에서 생성과 이해 간 시너지를 위한 효과적인 경로를 제시한다.