【核心提要】 DeepSeek 正式开源内部推理框架 DeepInfer，旨在通过优化技术提升大规模 AI 模型的运行效率。 该框架整合了分布式推理、推测解码及缓存复用等关键技术，并支持英伟达（NVIDIA）与华为昇腾等多平台硬件。 通过降低模型部署成本，DeepSeek 的此举有望助力云服务商提高利润空间，并推动 AI 服务端更具性价比。 【正文报道】 中国人工智能领军企业深度求索（DeepSeek）于 10 月 20 日正式宣布，将其内部研发的推理框架 DeepInfer 贡献给开源社区。此举旨在分享公司在处理大规模模型部署方面的核心技术经验，帮助开发者和相关企业通过优化推理流程来降低算力成本及能源消耗。 DeepSeek 在官方公告中强调，虽然大模型的性能上限由模型本身决定，但大规模服务的实际落地成本，很大程度上取决于推理框架的效率。作为统筹调度算力集群的核心组件，推理框架的优劣直接影响到 AI 服务的运营成本与电力损耗。通过开源 DeepInfer，DeepSeek 希望能够降低行业门槛，让更多企业能以更合理的成本提供高质量的 AI 服务。 在技术层面，DeepInfer 集成了多项前沿优化方案，包括分布式推理（Distributed Inference）、推测解码（Speculative Decoding）以及缓存复用等关键技术。这些技术的共同目标是提高模型处理请求的速度，减少重复计算，从而最大程度地榨取芯片算力的性能潜力。目前，该框架已支持 DeepSeek 旗下的 V4.1 Flash 模型，并兼容英伟达 SM100 图形处理器（GPU）及华为昇腾 950 平台。此外，DeepSeek 还同步开源了名为 deepseek-recipe 的词元（Token）编解码组件，确保第三方开发者在部署模型时，能够获得与官方服务一致的应用程序接口（API）处理体验。 根据 DeepSeek 提供的数据，采用该推理系统运行的 V4.1 Flash 模型，单体计算集群每日可处理高达 15.5 万亿个词元（Token）。这一数据凸显了优化后框架在处理大规模并发请求时的强大吞吐能力。 彭博社（Bloomberg）对此类技术开源的意义进行了分析。他们指出，降低 AI 模型的推理成本是提高云服务提供商利润率的关键路径，而更低的运营成本最终可能转化为面向终端用户的低廉费用。DeepSeek 通过开放相关核心技术，不仅能帮助合作伙伴优化部署环境，还能为全球开发者提供重要的技术参考。 然而，值得注意的是，此次开源并非完整的推理系统全量公开。其中涉及缓存管理和负载均衡等与公司内部基础设施高度耦合的组件仍保留在内部。此外，关于 DeepInfer 在实际应用场景中究竟能带来多大比例的效率提升，目前仍有待第三方独立测试验证。 【小编观点】 DeepSeek 此举是典型的“以技术生态换影响力”策略。通过开源核心推理框架而非仅仅提供模型权重，DeepSeek 实际上是在构建底层基础设施的护城河。对于国内企业而言，在算力资源受限的情况下，优化推理效率是降低成本、提升产品竞争力的关键路径。同时，对华为昇腾等国产硬件的支持，也体现了其在适配国产芯片生态方面的布局意图。 背景链接： DeepSeek 官方微信公众号相关公告 关于“推测解码”与“分布式推理”的技术白皮书
【核心提要】
【正文报道】
中国人工智能领军企业深度求索（DeepSeek）于 10 月 20 日正式宣布，将其内部研发的推理框架 DeepInfer 贡献给开源社区。此举旨在分享公司在处理大规模模型部署方面的核心技术经验，帮助开发者和相关企业通过优化推理流程来降低算力成本及能源消耗。
DeepSeek 在官方公告中强调，虽然大模型的性能上限由模型本身决定，但大规模服务的实际落地成本，很大程度上取决于推理框架的效率。作为统筹调度算力集群的核心组件，推理框架的优劣直接影响到 AI 服务的运营成本与电力损耗。通过开源 DeepInfer，DeepSeek 希望能够降低行业门槛，让更多企业能以更合理的成本提供高质量的 AI 服务。
在技术层面，DeepInfer 集成了多项前沿优化方案，包括分布式推理（Distributed Inference）、推测解码（Speculative Decoding）以及缓存复用等关键技术。这些技术的共同目标是提高模型处理请求的速度，减少重复计算，从而最大程度地榨取芯片算力的性能潜力。目前，该框架已支持 DeepSeek 旗下的 V4.1 Flash 模型，并兼容英伟达 SM100 图形处理器（GPU）及华为昇腾 950 平台。此外，DeepSeek 还同步开源了名为 deepseek-recipe 的词元（Token）编解码组件，确保第三方开发者在部署模型时，能够获得与官方服务一致的应用程序接口（API）处理体验。
根据 DeepSeek 提供的数据，采用该推理系统运行的 V4.1 Flash 模型，单体计算集群每日可处理高达 15.5 万亿个词元（Token）。这一数据凸显了优化后框架在处理大规模并发请求时的强大吞吐能力。
彭博社（Bloomberg）对此类技术开源的意义进行了分析。他们指出，降低 AI 模型的推理成本是提高云服务提供商利润率的关键路径，而更低的运营成本最终可能转化为面向终端用户的低廉费用。DeepSeek 通过开放相关核心技术，不仅能帮助合作伙伴优化部署环境，还能为全球开发者提供重要的技术参考。
然而，值得注意的是，此次开源并非完整的推理系统全量公开。其中涉及缓存管理和负载均衡等与公司内部基础设施高度耦合的组件仍保留在内部。此外，关于 DeepInfer 在实际应用场景中究竟能带来多大比例的效率提升，目前仍有待第三方独立测试验证。
【小编观点】
DeepSeek 此举是典型的“以技术生态换影响力”策略。通过开源核心推理框架而非仅仅提供模型权重，DeepSeek 实际上是在构建底层基础设施的护城河。对于国内企业而言，在算力资源受限的情况下，优化推理效率是降低成本、提升产品竞争力的关键路径。同时，对华为昇腾等国产硬件的支持，也体现了其在适配国产芯片生态方面的布局意图。
背景链接：