구글, 멀티모달 임베딩 모델 'EmbeddingGemma 2' 공개

핵심 요약

• Google DeepMind이 EmbeddingGemma 2를 공개했으며, 텍스트·이미지·오디오·비디오를 통합 임베딩 공간으로 매핑하는 가볍고 고성능의 온디바이스 멀티모달 모델이다.
• 지난해 출시한 EmbeddingGemma는 2천만 건 이상 다운로드되어 온디바이스 검색과 프라이버시 우선 RAG 파이프라인 구축에 활용됐다.
• EmbeddingGemma 2는 Gemma 4 아키텍처 기반, 7억 4천만 파라미터 규모이며 Apache 2.0 라이선스로 공개된다.
• MTEB Code와 MAEB 벤치마크에서 같은 크기의 다른 모델보다 우수한 성능을 발휘하며, 더 큰 전문 모델과 비교해도 경쟁력 있다.
• 텍스트 전용 2억 7천만 파라미터부터 시작하며, 선택적으로 비전(1억 7천만)과 오디오(3억) 인코더를 추가할 수 있다.
• Matryoshka Representation Learning을 적용해 출력 벡터를 768차원에서 512, 256, 128차원으로 동적 축소 가능하며, 로컬 벡터 데이터베이스 저장량을 최대 6배 감축할 수 있다.
• 양자화 적용 시 Google Pixel 11 Pro에서 텍스트 전용 가중치는 약 191MB, 전체 멀티모달 모델은 567MB의 활성 RAM만 필요하다.
• 8K 토큰 컨텍스트 윈도우(EmbeddingGemma 1의 4배)를 지원해 최대 5.5분 오디오, 29개 이미지, 58개 비디오 프레임을 처리할 수 있다.
• MTEB Code 벤치마크에서 코드 성능이 68.76에서 78.68로 9.92포인트 향상되었으며, 로컬 코드베이스 인덱싱과 의미 기반 코드 검색에 적합하다.
• Gemma 4 같은 생성 모델과 결합하면 온디바이스 RAG 파이프라인을 구성할 수 있으며, 동일한 토크나이저와 오디오 인코더를 공유해 메모리 효율적이다.
• Hugging Face와 Kaggle에서 모델 가중치를 다운로드할 수 있으며, Google AI Edge MediaPipe와 LiteRT로 온디바이스 배포를 지원한다.
• transformers.js와 WebGPU로 브라우저 환경 구축, Qdrant로 임베딩 벡터 저장, Unsloth로 파인튜닝 가능하도록 생태계를 구성했다.