玩家用停产的英特尔傲腾内存，在无显卡老服务器跑起 Kimi K3

11月13日，有玩家在社区发帖称，他用一台没有插显卡的老服务器成功运行了月之暗面的Kimi K3大模型，依靠的是英特尔已经停产的傲腾持久内存，而非显存。

Kimi K3是2.8万亿参数的混合专家模型，每个token仅激活约1040亿参数，官方标称上下文104万token。该玩家使用40核第三代至强可扩展处理器搭配傲腾持久内存200系列，通过llama.cpp将傲腾设为App Direct模式直接作为内存使用，代价是生成速度较慢。

事件经过

这名玩家在社区发帖分享了整套运行过程。他使用的服务器没有安装任何独立显卡，模型加载与推理全部依赖系统内存完成，承担这一角色的是英特尔傲腾持久内存。

据其描述，Kimi K3这类体量的模型即便压缩到1bit量化，也需要几百GB内存才能装下，普通家用主板即使插满内存条也难以凑出这样的容量。傲腾单条最高512GB的规格，正好提供了这种非常规的容量来源。

帖子发布后引发讨论，有网友认为固态存储跑模型只是速度慢，也有人对傲腾产品线的结局表示惋惜。

玩家用停产的英特尔傲腾内存，在无显卡老服务器跑起 Kimi K3

Kimi K3是月之暗面推出的混合专家模型，总参数2.8万亿，每个token仅激活约1040亿参数，官方模型卡标称上下文长度为104万token。

硬件方面，玩家使用一颗40核的第三代至强可扩展处理器，内存采用傲腾持久内存200系列，单条容量最高512GB。

软件层面通过llama.cpp运行，并把傲腾设置为App Direct模式，直接作为内存供程序读写，而不是Memory Mode那种把傲腾当作硬盘缓存、由系统自行调度的方式。

玩家用停产的英特尔傲腾内存，在无显卡老服务器跑起 Kimi K3

速度是这套方案需要付出的代价。在1bit量化下，该玩家测到每秒0.85个token；关闭DAX直接访问功能后，速度提升到每秒1.5个token。

切换到3bit量化后，成绩约为每秒0.75个token。按这一速度推算，让模型写几百字需要等待数分钟，输出5万个token则要18.5个小时。

傲腾持久内存的运行条件也有约束。英特尔数据表显示，这一代产品单条功耗上限为18瓦。

温度方面，介质温度达到83摄氏度时开始降频，到85摄氏度则触发保护性关机。对于长时间满载推理的场景，散热需要额外留意。

傲腾是英特尔此前主推的持久内存产品线，定位介于内存与固态存储之间。

根据英特尔公告，2022年第二季度公司启动傲腾内存业务收缩，同季度计提5.59亿美元库存减值，该产品线此后没有下一代产品。

此次玩家所用的正是这批已停产的内存，其在二手市场上的存量和价格，也成为类似尝试能否复制的现实变量。