Cloudflare 复盘：KV 池小于上下文加 SGLang 缺陷，导致跨客户数据泄露
Cloudflare 10 月 26 日公布复盘：Workers AI 上的 GLM-5.3 声明 1,048,576 token 上下文，但 prefill 节点的 KV 池只…
#inference
共 17 条，覆盖 9 期。
关注后，日报里带这个标签的条目会高亮，可一键只看关注。
每期条数最近 10 期
10月29日 周四2
NVIDIA 开放 Nemotron 3.5 Transcribe：转写、分说话人和翻译一次完成
NVIDIA 10 月 28 日在 Hugging Face 发布 Nemotron-3.5-Transcribe-30B-A4B，一个混合专家结构的语音模型，用提示词控制输出，…
10月28日 周三1
Ollama 0.40.12：新增 LFM3 小模型和 d1 决策模型 2B，修复 OpenCode v2 启动
Ollama 10 月 27 日发布 0.40.12，加入 Liquid AI 的 LFM3 系列：lfm3 是 1.7B 文本模型，上下文 256K，另有视觉、音频和全模态变体…
10月27日 周二1
Hob 开源：按本机硬件自动选择开源权重模型的桌面 AI 应用
Frigade 开源的桌面应用 Hob（MIT 许可）在 Mac、Windows 和 Linux 上本地运行 AI，可离线使用，数据留在本机。
10月25日 周日2
NVIDIA 开放 Nemotron 3.5 Bolt E4B：4GB 级端侧对话与工具调用模型
NVIDIA 10 月 23 日在 Hugging Face 发布 Nemotron 3.5 Bolt E4B 4GB，基于 Gemma-4-E4B-it 后训练，总参数 8B、…
Ollama 0.40.11：macOS 上可生成语音，新增 d3 决策模型
Ollama 10 月 24 日发布 0.40.11：macOS 上的 ollama run 可以边生成边朗读文本或对话模型的回复，应用可通过兼容 OpenAI 的 /v1/au…
10月24日 周六3
BottleCap 发布 ThinkingCap Gemma 4：思考 token 平均少 38.9%
BottleCap AI 10 月 23 日发布 ThinkingCap-gemma-4-26B-A4B-it，在 Google gemma-4-26B-A4B-it 上做了「缩…
MoE 离线批推理先按领域排序，vLLM 上最多提速 17.3%
Hugging Face 社区文章指出，MoE 模型每个解码步要读取批内所有请求路由到的专家权重；同领域的提示词使用的专家高度重叠，所以离线批处理前先按领域排序，就能减少每步读取…
清华提出 Agent「缓存工程」：直接管理 KV 缓存，免去重新预填充
清华大学团队的论文 Cache Engineering for Agents 指出，裁剪或摘要历史的上下文工程会改动前缀，迫使推理引擎重新预填充，还可能损害准确率。
10月23日 周五1
VocabX：按成本重建小模型词表，评分模型推理成本降 77%
Dharma-AI 10 月 21 日介绍 VocabX：在基础模型、数据和训练配方不变的前提下，为领域小模型重建分词词表。
10月21日 周三1
DeepSeek 开源推理引擎 DeepInfer，称其支撑自家线上服务
DeepSeek 在 GitHub 开源 DeepInfer，这是面向 DeepSeek 模型的高性能推理框架，官方称其支撑 DeepSeek 的大规模生产服务。
10月20日 周二4
Inception 发布扩散式大模型 Mercury 3：1M 上下文、千级 token/s
Inception 于 10 月 19 日发布基于扩散（diffusion）而非自回归生成的 Mercury 3，总参数是 Mercury 1 的 40 倍以上，上下文从 Mer…
AWS 开源 TorchNeuron：Trainium 的原生 PyTorch 后端
PyTorch 官方博客 10 月 19 日发文介绍 TorchNeuron，这是 AWS Trainium 芯片的原生 PyTorch 后端，通过 PrivateUse1 扩展…
NVIDIA 发布 Nemotron 3.5 Bolt：74B MoE 压进 24GB 本地运行
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Bolt 74B-A9B 24GB，这是从 Nemotron 3.5 Super VL 120B-A1…
IBM 发布 Granite Switch 4.1：一个端点同时做对话、判断和语音转写
IBM 于 10 月 15 日发布 Granite Switch 4.1（8B 和 30B），在 Granite 4.1 基座上组合多个 Activated LoRA（aLoRA…
10月19日 周一2
Meta 发布开放权重模型 Muse Spark Open：816B 参数、1M 上下文
Meta 于 10 月 15 日发布 Muse Spark Open，这是一个总参数 816B、激活参数 42B 的混合专家模型，支持 1M token 上下文，采用带有限商用条…
Liquid AI 发布端侧 Agent 模型 LFM2.5-24B-A2B
Liquid AI 发布 LFM2.5-24B-A2B，这是一个总参数 24B、每 token 激活约 2.45B 的混合专家模型，上下文 131,072 token，定位为在设…