EmbeddingGemma 2: мультимодальный поиск и RAG на устройстве

DeepMind запустила EmbeddingGemma 2 — открытую модель эмбеддингов на 740 миллионов параметров для поиска и RAG на устройстве: код, текст, картинки, видео и аудио сводятся в одно пространство без отправки файлов в облако. Лицензия Apache 2.0, основа Gemma 4; первая EmbeddingGemma за год прошла отметку в 20 миллионов загрузок.

Размер под задачу

Чисто текстовые сценарии тянутся примерно на 270M параметров. Картинки и звук подключаются отдельными энкодерами — 170M и 300M соответственно, если нужна полная мультимодальность.

Matryoshka Representation Learning позволяет урезать вектор с 768 измерений до 512, 256 или 128 — до шестикратной экономии в локальной векторной базе. На Google Pixel 11 Pro с квантизацией текстовый режим занимает около 191 МБ активной RAM, полная мультимодальная конфигурация — порядка 567 МБ.

Контекст и код

Окно — 8K токенов, в четыре раза шире, чем у EmbeddingGemma 1: в одном проходе на железе пользователя укладываются до 5,5 минут аудио, 29 изображений или 58 кадров видео.

На бенчмарке MTEB Code результат поднялся с 68,76 до 78,68 (+9,92 пункта) при сохранении мультиязычного текста — заявленный сценарий: локальная индексация репозитория, семантический поиск по коду и выборка контекста для coding-агентов. Рядом с генеративной Gemma 4 общие токенизатор и аудио-энкодер уменьшают суммарный расход памяти на связке «поиск + ответ».

Где пробовать

• Веса — Hugging Face и Kaggle; варианты под устройства — LiteRT Community на Hugging Face.
• Готовые embedding- и retrieval-задачи — Google AI Edge MediaPipe; своя интеграция — LiteRT; в браузере — transformers.js и WebGPU.
• Серверный инференс: transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama, LM Studio; векторы — Qdrant.
• Демо в Google AI Edge Gallery: Instant Media Search, Video Moments Finder; сценарий Foresight с Gemma 4 для рассуждений поверх локальных файлов.

Источник: EmbeddingGemma 2: an open, lightweight multimodal embedding model.