摩尔线程完成 Kimi K3.1 Pro 训练适配,打通完整训练链路

  • AI
  • 1
Mores的头像Mores
摩尔线程完成 Kimi K3.1 Pro 训练适配,打通完整训练链路

据摩尔线程消息,月之暗面近日开源2.8万亿参数旗舰模型Kimi K3.1 Pro。摩尔线程基于旗舰级AI训推一体智算卡MTT S5000与MUSA软件栈,完成该模型的训练适配。

摩尔线程称,此次适配构建了原生FSDP2多模态训练路径,打通了从模型加载、分片调度到梯度同步的完整训练链路。

开源模型概况

此次开源的Kimi K3.1 Pro由月之暗面推出,参数规模达到2.8万亿,被定位为旗舰级模型。摩尔线程方面披露的信息显示,该模型以开源形式对外发布,属于当前参数体量较大的模型之一。

从公开信息看,Kimi K3.1 Pro的发布方为月之暗面,开源时间在摩尔线程完成适配之前不久。摩尔线程的相关消息由第一财经报道,发布时间为2026年11月17日。

摩尔线程完成 Kimi K3.1 Pro 训练适配,打通完整训练链路

适配所用硬件与软件栈

摩尔线程此次适配所依托的硬件平台是MTT S5000。按照摩尔线程的表述,这是一款旗舰级AI训推一体智算卡,兼具训练与推理能力,被用于承接Kimi K3.1 Pro的训练任务。

与硬件配套的是MUSA软件栈。摩尔线程称,基于MTT S5000与MUSA软件栈的组合,完成了对Kimi K3.1 Pro的训练适配,这意味着模型训练可以在这一国产软硬件平台上运行。

训练链路如何打通

在适配过程中,摩尔线程构建了原生FSDP2多模态训练路径。FSDP2属于参数分片类的训练方案,原生路径意味着该方案直接在摩尔线程平台上实现,而非经过额外转换层。

三个环节分别对应模型权重的载入、参数分片在设备间的分配调度,以及训练过程中梯度的同步汇总,覆盖了训练流程的主要步骤。

多模态训练路径的表述显示,该适配面向的不只是纯文本训练场景。摩尔线程未进一步披露适配过程中的性能数据、参与设备数量或训练时长等细节。

国产算力适配的意义

从公开信息看,此次适配使2.8万亿参数级别的开源模型能够在国产智算卡与配套软件栈上完成训练链路搭建。摩尔线程将MTT S5000定位为训推一体产品,训练适配的完成扩展了该产品在超大规模模型上的应用场景。

摩尔线程方面未就适配后的训练效率、成本变化或后续计划作出进一步说明。该消息由第一财经报道,东方财富网转载,内容以摩尔线程披露的信息为主。

要点

  • Kimi K3.1 Pro为2.8万亿参数旗舰模型
  • 摩尔线程使用MTT S5000智算卡完成适配
  • 适配基于MUSA软件栈
  • 构建原生FSDP2多模态训练路径
  • 打通模型加载、分片调度到梯度同步链路

原文链接

AI
分享

更多快讯

全部快讯
  1. Anthropic 发布 Claude Fable 5.2:8 天自主构建操作系统,28.7 小⁠时验完费马猜想证明
  2. xAI 与谷歌前大模型推理专家吴衎将入职中国科大任教
  3. OpenAI 发布 GPT-6.2 Astra,称生成内容“AI 感更低”
  4. Anthropic IPO 后亚马逊与谷歌合计持股近三成
  5. 月之暗面推进港股 IPO 前重组,DeepSeek 因算力不足限制额度

0 条回复

A文章作者M管理员
上传评论图片

暂无讨论,说说你的看法吧