华为昇腾完成 Kimi K3.1 Pro 零日推理适配，支持2.8万亿参数模型部署

快科技11月5日消息，月之暗面放出Kimi K3.1 Pro完整模型权重后，华为昇腾在模型发布当天完成零日推理适配，开发者可直接进行部署验证。

Kimi K3.1 Pro参数规模达2.8万亿，属MoE混合专家模型，原生支持视觉理解，具备百万token上下文窗口。本次适配覆盖Atlas 800 A3、Atlas 900 A3 SuperPod及昇腾950超节点硬件，依托vLLM Ascend与SGLang两套推理框架实现。

模型规格与能力

Kimi K3.1 Pro的参数规模达到2.8万亿，采用MoE混合专家架构。与单纯的文本模型不同，它原生支持视觉理解，并具备百万token的上下文窗口，这意味着模型可以在一次推理中处理体量极大的输入内容。

据快科技报道，这一代模型在代码编写、3D创作、金融分析、长文档处理等任务上，相比上一代有明显提升。这些能力方向也决定了它对推理侧的要求：长序列、多模态输入与复杂任务并行，都会给显存和算力带来压力。

架构层面，Kimi K3.1 Pro采用混合线性注意力架构，并新增了稀疏注意力模块。要让这套结构在实际硬件上跑顺，算子实现、缓存管理、多卡通信都需要做针对性调优，这也是此次适配工作的技术难点所在。

华为昇腾完成 Kimi K3.1 Pro 零日推理适配，支持2.8万亿参数模型部署

软件侧依托两套推理框架实现，分别是vLLM Ascend与SGLang。昇腾团队此前已有Kimi K3的适配经验，这次在模型发布前就提前分析了模型结构，并补齐了新增稀疏注意力与多模态推理相关的适配工作。

从时间上看，适配与模型开源几乎同步完成。对希望第一时间验证模型的开发者而言，这意味着不必等待硬件厂商后续跟进，就能在国产算力平台上启动推理测试。

为应对百万长度序列带来的显存压力，昇腾在底层做了多项优化。其中一项是分布式缓存技术，把缓存分散到多张NPU卡上，从而减轻单卡显存负担。

算子层面，团队对多个核心算子进行了改造，减少多余的数据拷贝和无效计算，以提升硬件的实际利用率。这类改动不改变模型本身，但直接影响长上下文场景下的推理效率。

部署方式上提供两种选择：既可以直接加载原生权重，也可以开启分模块量化方案。分模块量化针对不同模块采用不同的低比特量化策略，并搭配注意力缓存量化，进一步降低显存占用，让大模型在硬件资源上更节省。

在接口与使用习惯上，开发者无需改变原有方式。此前熟悉的前缀缓存、分块预填充、投机推理等能力全部保留，已有的推理服务可以直接接入Kimi K3.1 Pro。

官方已经放出两套框架对应的部署文档，分别对应vLLM Ascend与SGLang，开发人员可以直接查阅参考，按文档完成部署。

从模型开源到硬件适配、文档发布同步落地，这一流程缩短了开发者从拿到权重到实际跑通的距离，也为2.8万亿参数级模型在昇腾平台上的部署提供了可复用的路径。