Google 开放 EmbeddingGemma 2:740M 多模态嵌入模型,Apache 2.0
Google 发布 EmbeddingGemma 2,一个约 740M 参数、可把文本(含代码)、图像、视频和音频映射到同一向量空间的开放嵌入模型,采用 Apache 2.0 许可。其中文本主干只有 270M,纯文本场景可以关闭视觉和音频编码器。模型支持 100 多种语言,所有模态共享 8,192 token 的输入长度。
768 维
512 维
256 维
128 维
数据来自 Hugging Face 模型卡,为官方自报分数
要点
- 原生 768 维,可截断为 512、256、128 维;截断后需重新归一化
- MTEB 多语言 v2 平均分:768 维 61.36、512 维 61.17、256 维 60.41、128 维 57.89
- MTEB code v1 的 NDCG@10 为 78.68
- 模型卡提醒:用 float16 可能静默产生 NaN 或劣化的向量,应使用 bfloat16 或 float32
为什么值得关注
文本模式只有 270M,CPU 或小显卡就能跑,适合在自部署环境里给 RAG、代码检索做嵌入模型的对比测试;Apache 2.0 许可对内部使用没有额外限制。多模态部分暂时用不上。
来源
原文
google/embeddinggemma-2 模型卡
Hugging Face · huggingface.co
原文
EmbeddingGemma 2 论文页
Hugging Face Papers · huggingface.co
### [Google 开放 EmbeddingGemma 2:740M 多模态嵌入模型,Apache 2.0]({{URL}})
Google 发布 EmbeddingGemma 2,一个约 740M 参数、可把文本(含代码)、图像、视频和音频映射到同一向量空间的开放嵌入模型,采用 Apache 2.0 许可。其中文本主干只有 270M,纯文本场景可以关闭视觉和音频编码器。模型支持 100 多种语言,所有模态共享 8,192 token 的输入长度。
- 原生 768 维,可截断为 512、256、128 维;截断后需重新归一化
- MTEB 多语言 v2 平均分:768 维 61.36、512 维 61.17、256 维 60.41、128 维 57.89
- MTEB code v1 的 NDCG@10 为 78.68
- 模型卡提醒:用 float16 可能静默产生 NaN 或劣化的向量,应使用 bfloat16 或 float32
**为什么值得关注**:文本模式只有 270M,CPU 或小显卡就能跑,适合在自部署环境里给 RAG、代码检索做嵌入模型的对比测试;Apache 2.0 许可对内部使用没有额外限制。多模态部分暂时用不上。
来源:[google/embeddinggemma-2 模型卡](https://huggingface.co/google/embeddinggemma-2);[EmbeddingGemma 2 论文页](https://huggingface.co/papers/2610.37364)