开源项目 可动手 重点 10月29日 周四 #open-weights#rag#multimodal

Google 开放 EmbeddingGemma 2:740M 多模态嵌入模型,Apache 2.0

Google 发布 EmbeddingGemma 2,一个约 740M 参数、可把文本(含代码)、图像、视频和音频映射到同一向量空间的开放嵌入模型,采用 Apache 2.0 许可。其中文本主干只有 270M,纯文本场景可以关闭视觉和音频编码器。模型支持 100 多种语言,所有模态共享 8,192 token 的输入长度。

截断到 256 维时多语言检索分数只降约 1 分
768 维61.36
512 维61.17
256 维60.41
128 维57.89

数据来自 Hugging Face 模型卡,为官方自报分数

要点

  • 原生 768 维,可截断为 512、256、128 维;截断后需重新归一化
  • MTEB 多语言 v2 平均分:768 维 61.36、512 维 61.17、256 维 60.41、128 维 57.89
  • MTEB code v1 的 NDCG@10 为 78.68
  • 模型卡提醒:用 float16 可能静默产生 NaN 或劣化的向量,应使用 bfloat16 或 float32
为什么值得关注

文本模式只有 270M,CPU 或小显卡就能跑,适合在自部署环境里给 RAG、代码检索做嵌入模型的对比测试;Apache 2.0 许可对内部使用没有额外限制。多模态部分暂时用不上。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助