产业 / 官方
谷歌开源轻量级多模态嵌入模型正式发布
谷歌 DeepMind 正式推出 EmbeddingGemma 2,这是一款面向端侧部署的开源多模态嵌入模型,拥有 7.4 亿参数,基于 Gemma 4 架构构建,采用 Apache 2.0 许可证商业友好开放。该模型能够将文本、代码、图像、音频与视频原生映射至统一嵌入空间,无需多个独立模型协作。与上一代相比,EmbeddingGemma 2 在代码嵌入基准 MTEB Code 上提升了近 10 分,上下文窗口扩展至 8K token,可处理长达 5.5 分钟的音频或 29 张图像。借助 Matryoshka 表示学习技术,输出向量可从 768 维动态压缩至 128 维,实现最高 6 倍的存储节省。在 Pixel 11 Pro 上,仅文本模式下激活内存低至约 191MB,完整多模态模式约 567MB,充分满足消费级硬件的资源约束。模型权重已在 Hugging Face 和 Kaggle 上线。
谷歌 DeepMind 于 2026 年 10 月发布 EmbeddingGemma 2,将嵌入能力从纯文本扩展至真正的多模态领域。该模型拥有 7.4 亿参数,基于 Gemma 4 架构,采用与 Gemini Embedding 系列相同的底层技术,并以 Apache 2.0 许可证开放,允许商业使用。其前身 EmbeddingGemma 1 自发布以来已累计超过 2000 万次下载,广泛应用于端侧搜索和隐私优先的检索增强生成(RAG)场景。
EmbeddingGemma 2 的核心突破在于原生多模态能力。模型可将文本、代码、图像、音频和视频统一映射至同一嵌入空间,支持跨模态语义检索,例如用语音备忘录查找特定视频片段,或通过文字描述在数小时录音中定位目标内容。这一能力由单一模型完成,无需多模型串联,显著降低了系统复杂度与延迟。
在架构设计上,EmbeddingGemma 2 采用模块化方案:纯文本任务仅需 2.7 亿参数的核心模块,视觉编码器(1.7 亿参数)和音频编码器(3 亿参数)可按需加载。借助 Matryoshka 表示学习(MRL)技术,开发者可将输出向量从 768 维动态截断至 512、256 或 128 维,本地向量数据库存储量最高可减少 6 倍,大幅降低边缘设备的存储压力。
性能基准方面,EmbeddingGemma 2 在 10 亿参数以下的多模态嵌入模型中达到领先水平。代码嵌入能力在 MTEB Code 基准上从 68.76 提升至 78.68,涨幅近 10 分,适合本地代码库索引和语义代码搜索。在图像、视频、文档和音频任务上,其单位参数质量超越多个规模超过自身两倍的专项模型,同时保持与 EmbeddingGemma 1 相当的多语言文本性能。
端侧部署方面,EmbeddingGemma 2 与 Gemma 4 共享文本分词器和音频编码器,两者可在统一推理管线中协同运行,合并内存占用低于分别加载。谷歌已在 AI Edge Gallery 中集成即时媒体搜索和视频片段定位两项演示应用,并通过 MediaPipe Decision Task API 支持实时多模态分类与路由决策。模型支持 transformers、sentence-transformers、vLLM、Ollama 等主流推理框架,向量存储可对接 Qdrant。
开发者可在 Hugging Face 和 Kaggle 获取模型权重,面向端侧优化的 LiteRT 版本同步上线。Unsloth 已提供微调指南,支持针对特定业务场景的定制训练。谷歌表示,Gemini Enterprise Agent Platform Model Garden 的接入支持也将于近期推出,进一步降低企业级集成门槛。
要点
- EmbeddingGemma 2 以 7.4 亿参数原生统一文本、代码、图像、音频和视频的嵌入空间,是目前 10 亿参数以下多模态嵌入模型的最强开源选项之一
- 模块化架构与 MRL 向量压缩技术使其在 Pixel 11 Pro 上仅需约 191MB 内存(纯文本模式),存储可节省最高 6 倍,真正适配消费级端侧硬件
- 代码嵌入能力在 MTEB Code 基准上提升近 10 分,8K token 上下文窗口较上一代扩大 4 倍,显著增强长内容处理能力
- 与 Gemma 4 共享编码器组件,两者可在统一管线中低内存协同运行,为端侧 RAG 应用提供完整的生成与检索闭环
- 采用 Apache 2.0 许可证,支持 Hugging Face、Ollama、vLLM 等主流生态,可直接集成至现有开发工作流
原始标题:EmbeddingGemma 2: an open, lightweight multimodal embedding model
本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。