멀티모달 임베딩의 새로운 기준, EmbeddingGemma 2 공개
원제 EmbeddingGemma 2: Unified and Efficient Multimodal Representations
추천 26댓글 2
Key Point
멀티모달 검색과 임베딩 생성이 필요한 개발자와 머신러닝 엔지니어에게 오픈 모델 선택지가 생겼으며, 작은 모델로 대형 모델 수준의 성능을 달성할 수 있다는 것이 중요하다.
핵심 요약
- Google이 오픈 멀티모달 임베딩 모델 EmbeddingGemma 2를 발표했다.
- 텍스트, 이미지, 오디오, 비디오를 단일 벡터 공간에 통합으로 표현한다.
- 단순화된 계층별 임베딩과 모달리티·목표 기반 다단계 커리큘럼을 도입했다.
- 단일 모달리티, 교차 모달리티, 혼합 모달리티 평가에서 모두 우수한 성능을 보인다.
- 모든 모달리티 벤치마크에서 기존 전문가 모델과 2~12배 큰 모델을 능가한다.
- 선택적 모달리티 인코더 로딩, 조정 가능한 비전 토큰 예산, 잘라낼 수 있는 임베딩 차원, 양자화 가중치를 지원한다.
- 리소스 제약 환경에서의 유연성을 강조하며 연구 확대를 위해 공개했다.