DeepSeek 开源推理框架 DeepInfer，对等支持华为昇腾与英伟达芯片

10月20日，DeepSeek宣布开源自研推理框架DeepInfer，华为昇腾950系列NPU与英伟达SM100（Blackwell架构GPU）同时出现在支持名单中。在DeepInfer中，两类硬件处于对等的构建选项地位，来自同一代码树，模型推理时仅通过一个环境变量即可完成切换。

此前国产芯片架构在国产大模型中多作为次序靠后的补充后端存在。业内人士认为，推理时代对CUDA的依赖远低于训练时代，这为国产芯片的生态突围留出了空间，但昇腾950在相同负载下的实际表现仍待更多实测数据验证。

框架与支持名单

从DeepSeek公布的技术报告与各方技术解读看，DeepInfer将华为昇腾950系列NPU与英伟达SM100（Blackwell架构GPU）放在同一代码树下的对等构建选项中，模型推理时通过一个环境变量即可在两类硬件之间切换。这一安排意味着开发者不必为两种硬件分别维护两套部署路径。

此次开源的时间点也引发额外关注。美国国土安全部于当地时间10月19日公开一份禁令，要求美国相关行政机构停止采购DeepSeek相关产品和服务，次日DeepSeek即宣布开源DeepInfer，相关讨论热度随之上升。

从补充后端到对等选项

在此前较长一段时间里，国产芯片架构即使在DeepSeek等国产大模型中，也多以次序靠后的补充后端身份出现。国产模型与国产芯片的适配往往需要围绕既有模型和软件框架做大量移植工作；即便模型能够运行，也未必能达到理想的吞吐量、延迟和稳定性。

由于CUDA及其配套工具积累深厚，开发者通常优先选择英伟达平台，其他硬件则需要额外适配与优化，成本与不稳定性随之增加。这种差距不仅来自芯片性能，也来自软件生态的成熟程度，外界常说的英伟达护城河是CUDA软件，即由此而来。

在DeepInfer框架下，开发者可以在相对统一的软件框架中开展部署和优化，对目前原生支持的华为与英伟达相关芯片而言，二者之间的迁移成本理论上趋于抹平。有创业者在社群讨论中举例称，新项目启动时，团队不再天然先假设英伟达、再考虑其他，而是可以在同一套框架下根据供货、成本、合规或地缘条件做选择。获得原生支持和更多用例的国产芯片，也有望通过真实业务部署积累优化经验。

推理时代的门槛差异

云天励飞董事长兼CEO陈宁曾介绍，训练对CUDA的依赖与推理对CUDA的依赖不在一个量级。英伟达是训练时代的标准制定者，换平台等于重新造轮子；但推理时代模型已经训练完成，关键变成成本、效率和系统能力，各方实际上站在同一条新的起跑线上，这为新的软件栈和生态体系竞争留出了空间。

不少业内人士也认为，训练芯片生态壁垒极高，推理赛道门槛要低得多，国产场景尤其丰富，有利于国产芯片企业的生态突围，被视为国产模型与芯片协同的重要突破口。

供应侧的情况也提供了注脚。路透社10月20日报道称，中国互联网大厂近期都在大批量采购英伟达显卡，相关产品虽非AI数据中心专用，但仍能满足AI推理需求，而英伟达面对集中爆发的订单已难以拿出足够供给。这意味着如果顶尖模型进一步压低国产芯片适配门槛，后者有机会在实际部署中获得更多订单。

尚待验证的性能数据

目前DeepInfer公开的性能基准主要还是基于英伟达GPU，尚无法据此判断昇腾950在相同模型、相同负载下的吞吐量、延迟和能耗是否接近英伟达平台。

DeepSeek在技术报告中也强调，DeepInfer此次开放的是离线推理框架，完整生产服务所需的KV Cache管理、负载均衡等部分组件并未全部公开。社交平台X上有科技博主提示，代码能在两类硬件上构建和运行，与足以支撑大规模商业部署是两回事，还需要更多实测数据和第三方验证。

竞争环境同样在变化。英伟达2025年3月开源了推理框架Dynamo，今年3月又进行生产级迭代，意在配合自家硬件应对大模型推理挑战，其近期战略布局和资源倾斜明显更重视推理场景。

与华为的芯片合作

在训练场景，国产芯片仍在追赶英伟达。据The Information最新报道，DeepSeek正与华为深度合作，共同设计下一代AI芯片。华为工程师已进驻DeepSeek参与研发，并计划优先供应下一代训练芯片，优化芯片的数据计算与传输能力，帮助DeepSeek未来使用国产芯片训练先进模型，降低对英伟达的依赖。

在今年4月末DeepSeek V4正式发布前，国产顶级模型与顶级芯片的合作一直是关注焦点，但当时可见的进展并不多，效果甚至低于一些业内人士的预期。从DeepSeek在国产生态支持下的降价，到推理框架的对等兼容，再到训练场景降低对英伟达依赖的尝试，国产芯片替代与芯模协同的节奏有望进一步加速。

要点

• DeepSeek于10月20日开源自研推理框架DeepInfer
• 支持名单含华为昇腾950系列NPU与英伟达SM100
• 两类硬件来自同一代码树，靠环境变量切换
• DeepInfer公开的性能基准主要基于英伟达GPU
• DeepSeek正与华为合作设计下一代AI芯片