要闻 值得关注 重点 10月20日 周二 #llm#inference

Inception 发布扩散式大模型 Mercury 3:1M 上下文、千级 token/s

Inception 于 10 月 19 日发布基于扩散(diffusion)而非自回归生成的 Mercury 3,总参数是 Mercury 1 的 40 倍以上,上下文从 Mercury 2.5 的 260K 扩展到 1M token。官方称其在 NVIDIA GPU 上达到 1,068 tokens/s,并兼容 OpenAI API。

要点

  • 官方定价为每百万 token 输入 $0.20、输出 $0.70,发布期五折;缓存输入按输入价格的一折计费
  • 已上线 Inception API 平台、OpenRouter、Baseten 和 Vercel,API 平台提供 1 亿 token 免费额度
  • 官方称多项基准超过 GPT-6 Luna 和 Claude Haiku 5.5,但发布页未给出具体分数表
  • 在 50 个 Mind2Web 浏览器任务中完成 50%(厂商自测)
为什么值得关注

扩散式语言模型在速度上的优势正在走向长上下文和 Agent 场景,对延迟敏感的应用值得关注;性能数据目前均来自厂商,选型前需自行评测。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助