DeepSeek 开源内部推理框架 DeepInfer，称单集群日处理155万亿词元

中国人工智能公司深度求索（DeepSeek）10月20日在微信公众号宣布，将内部推理框架DeepInfer开源，向开发者和企业分享其大规模部署AI模型的技术经验，目标是帮助各方以更低成本运行AI模型。

据DeepSeek披露，采用这套推理系统运行的V4.1 Flash模型，单一计算集群目前每天可处理155万亿个词元。公司同时开源了名为deepseek-recipe的词元编解码组件。

开源了什么

此次开源的对象是DeepSeek内部使用的推理框架DeepInfer，公司将其定位为大规模部署AI模型技术经验的对外分享。

DeepSeek在公告中说明，大模型的能力边界由模型本身划定，但能否以合理成本提供超大规模的模型服务，还取决于推理框架的效率。推理框架负责统筹调度算力集群，其效率直接决定AI服务的算力成本与电力消耗。

公司表示，未来还将持续开源新模型的推理代码及相关优化技术，此次开放并非一次性动作。

DeepSeek 开源内部推理框架 DeepInfer，称单集群日处理155万亿词元

据DeepSeek介绍，DeepInfer整合了多项优化技术，包括分布式推理、推测解码和缓存复用等。这些技术指向两个目标：提高模型处理请求的速度，以及减少重复计算，从而更有效地利用芯片算力。

其中分布式推理对应多设备协同调度，推测解码用于加速生成过程，缓存复用则着眼于避免相同内容被反复计算。DeepSeek未在公告中逐项披露这些技术的具体实现方式。

同步开源的deepseek-recipe组件面向词元编解码环节，目的是让第三方开发者部署模型时，获得与DeepSeek官方服务一致的应用程序接口（API）处理体验。

DeepSeek 开源内部推理框架 DeepInfer，称单集群日处理155万亿词元

在模型侧，DeepInfer目前支持DeepSeek旗下的V4.1 Flash模型。在硬件侧，开源版本适用于英伟达SM100图形处理器及华为昇腾950平台，即同时覆盖英伟达与华为昇腾两条算力路线。

这一数字来自DeepSeek自身披露，公司未在公告中给出该集群的规模、配置或测试条件等进一步信息。

DeepSeek 开源内部推理框架 DeepInfer，称单集群日处理155万亿词元

DeepSeek将降低算力成本与能源消耗作为此次开源的主要诉求。彭博社的分析指出，AI模型的运行成本不仅取决于模型本身，也受到推理软件效率的影响。

通过开放相关技术，DeepSeek有望帮助云服务商及企业降低AI模型的部署成本，并让其他开发者借鉴其优化技术。降低推理成本有助于提高AI托管服务商的利润率，并可能进一步转化为面向客户的更低收费。

这一逻辑的前提是框架确实能带来效率提升，而目前公开信息尚不足以量化其实际效果。

DeepSeek 开源内部推理框架 DeepInfer，称单集群日处理155万亿词元

此次开源并不等于完整开放推理服务系统。据报道，缓存管理和负载均衡等组件仍与DeepSeek内部基础设施紧密关联，未纳入开源范围。

此外，DeepInfer实际能提高多少运行效率，目前仍缺乏独立测试验证。DeepSeek公布的数据均为公司自行披露，第三方尚未给出对照结果。

对于有意部署的开发者而言，可用的部分是框架主体与词元编解码组件，而与其内部基础设施绑定的调度能力仍需自行补齐。