阿里云超节点完成 Kimi K3.1 Pro 的 Day0 适配

Mores的头像Mores
阿里云超节点完成 Kimi K3.1 Pro 的 Day0 适配

11月5日,阿里云宣布灵骏真武M890超节点已完成月之暗面Kimi K3.1 Pro模型权重的Day0适配,并在vLLM与SGLang两大主流开源推理框架上完成全链路验证。该模型总参数为2.8万亿,支持100万Token上下文。

同日,阿里云位于宁夏中卫的超节点地域开启邀测,新增平头哥磐脉920智能网卡,用于加速大规模算力供给。Kimi K3.1 Pro也已在千问AI平台部署上线,对外提供API服务。

模型与适配情况

Kimi K3.1 Pro是月之暗面最新推出的开源大模型,参数规模达2.8万亿级,属于当前全球参数规模最大的开源模型之一,支持100万Token上下文窗口。此次Day0适配意味着该模型发布即可在阿里云超节点上完成部署,用户可在本地或云端快速落地推理服务。

该模型延续超大规模稀疏混合专家(MoE)架构,采用KDA线性注意力与DSA稀疏注意力相结合的混合注意力设计,并支持多Token预测(MTP)。这些设计对显存容量与高速Scale-Up互联提出了极高要求,也是此次适配需要重点解决的技术难点。

除超节点适配外,Kimi K3.1 Pro已在千问AI平台部署上线,对外提供API服务,用户可通过接口直接调用这一旗舰开源模型。

阿里云超节点完成 Kimi K3.1 Pro 的 Day0 适配

超节点的硬件配置

阿里云灵骏真武M890超节点是国内首个大规模商业化落地的云上超节点形态,定位于快速、稳定承载大规模参数开源旗舰模型。此次中卫超节点地域开启邀测,在原有高配置基础上新增平头哥磐脉920智能网卡。

磐脉920采用PCIe 5.0与112G PAM4以太网技术,最高支持400Gbps吞吐带宽、400Mpps收发包率,支持多路径RDMA与用户可编程拥塞控制。其内置PCIe Switch芯片级网络架构,以极低时延直连GPU与SSD,减少对外部交换芯片的依赖,可节省系统成本30%。

目前,阿里云在乌兰察布和中卫两处数据中心均提供Day0适配各种主流大模型的超节点实例,中卫地域的邀测进一步扩大了大规模算力供给的覆盖范围。

阿里云超节点完成 Kimi K3.1 Pro 的 Day0 适配

联合调优的技术细节

针对万亿参数大模型高吞吐、低延迟、高并发的需求特点,阿里云、平头哥与Kimi团队依托T-Head SAIL软件栈完成深度联合适配,并开展核心算子调优。

优化重点包括FlashMLA算子、DeepGEMM MOE算子、MegaMoE以及MoonEP的适配与调优。相关团队表示,这些工作可帮助用户基于裸金属或REIN智能引擎服务,快速完成推理服务在超节点资源上的部署。

在软件框架层面,适配已在vLLM与SGLang两大主流开源推理框架上完成全链路验证,覆盖从模型权重加载到推理服务的完整流程。

客户覆盖与后续计划

灵骏真武M890超节点实例目前已服务上百家头部客户,覆盖大模型、自动驾驶、具身智能等多个行业,形成了从模型适配到行业落地的客户基础。

阿里云方面透露,即将推出的下一代真武V900超节点实例,性能将较当前一代提升3倍。阿里云与平头哥表示,将依托大规模集群与逐步成熟的软硬件生态,与用户共同推进基础大模型与产业发展。

要点

  • Kimi K3.1 Pro总参数为2.8万亿,支持100万Token上下文
  • 适配在vLLM与SGLang两大开源推理框架上完成全链路验证
  • 中卫超节点新增平头哥磐脉920智能网卡
  • 灵骏真武M890超节点实例已服务上百家头部客户
  • 下一代真武V900超节点性能将较当前一代提升3倍

原文链接

更多快讯

全部快讯
  1. QuestMobile:红果免费短剧用户数超过豆包,成抖音集团第三大应用
  2. 中日韩创新合作中心落地一年多,构建东北亚创新协作网络
  3. 京东11.11期间 Token 搜索量环比增长超7倍
  4. 全国首个开源主题生态体验馆在乌镇开馆
  5. Token 首次上架电商双11:天猫京东开设充值入口,有商家买电脑送 Token

0 条回复

A文章作者M管理员
上传评论图片

暂无讨论,说说你的看法吧