DeepSeek 开源推理引擎 DeepInfer，称其支撑自家线上服务

DeepSeek 在 GitHub 开源 DeepInfer，这是面向 DeepSeek 模型的高性能推理框架，官方称其支撑 DeepSeek 的大规模生产服务。本次开源版本只覆盖离线推理，目前支持 DeepSeek-V4.1-Flash（默认权重为 V4.1-Flash-1017），硬件支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。

要点

• 集成 FlashMLA、DeepGEMM、DeepEP 等自研算子库，支持注意力数据并行、上下文并行和带 EPLB 的 MoE 专家并行
• 提供 DSpark 投机解码、异步调度、正则 / JSON Schema / EBNF 约束的结构化输出；批次不变推理与确定性采样仅限 NVIDIA
• 暂不包含 KV cache 系统、PD 分离和跨数据并行副本的负载均衡，离完整服务栈还有距离
• Apache 2.0 许可；README 致谢称主要基于 vLLM 构建，并参考了 SGLang 和 TensorRT-LLM

来源

### [DeepSeek 开源推理引擎 DeepInfer，称其支撑自家线上服务]({{URL}})

DeepSeek 在 GitHub 开源 DeepInfer，这是面向 DeepSeek 模型的高性能推理框架，官方称其支撑 DeepSeek 的大规模生产服务。本次开源版本只覆盖离线推理，目前支持 DeepSeek-V4.1-Flash（默认权重为 V4.1-Flash-1017），硬件支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。

- 集成 FlashMLA、DeepGEMM、DeepEP 等自研算子库，支持注意力数据并行、上下文并行和带 EPLB 的 MoE 专家并行
- 提供 DSpark 投机解码、异步调度、正则 / JSON Schema / EBNF 约束的结构化输出；批次不变推理与确定性采样仅限 NVIDIA
- 暂不包含 KV cache 系统、PD 分离和跨数据并行副本的负载均衡，离完整服务栈还有距离
- Apache 2.0 许可；README 致谢称主要基于 vLLM 构建，并参考了 SGLang 和 TensorRT-LLM

**为什么值得关注**：这是头部模型厂商少见地公开生产推理栈，对研究 MoE 大模型推理优化的团队有参考价值；同时支持昇腾 950，值得国产算力用户关注。硬件门槛较高，一般团队短期内难以直接使用。

来源：[deepseek-ai/DeepInfer](https://github.com/deepseek-ai/DeepInfer)；[DeepSeek just open-sourced its inference engine (HN)](https://news.ycombinator.com/item?id=50163277)