每秒0.85个Token：海外网友用停产傲腾内存运行2.8万亿参数模型

近日，一位Reddit家庭实验室爱好者利用已停产的英特尔第二代傲腾持久内存（Optane PMem 200系列），在一颗40核第三代至强可扩展处理器上，成功运行了月之暗面的2.8万亿参数Kimi K3模型，整个推理过程完全依靠CPU完成，未使用GPU。

搭建者表示，傲腾内存在持续进行大模型推理时会产生大量热量，必须将主动DIMM散热视为必要措施。他专门使用两台额定功率为12W的鼓风机，对准内存模块进行强制散热，才得以将温度控制在安全范围内。他还特别警告，傲腾模块产生的高温可能影响相邻的DRAM内存，甚至造成损坏。

在性能方面，初始测试采用1比特量化，推理速度约为每秒0.85个Token；采用3比特量化时，速度则下降至每秒0.75个Token。不过，搭建者随后发现，关闭DAX（Direct Access）挂载选项后，1比特量化的推理速度提升至每秒1.50个Token，较初始结果接近翻倍。据分析推测，这是因为DAX模式会绕过Linux内核页面缓存，关闭DAX后，频繁访问的数据可以缓存在速度更快的DRAM中，从而减少对傲腾内存的直接访问。

Kimi K3是一款采用混合专家（MoE）架构的超大规模模型，总参数量达到2.8万亿，实际每个Token激活的参数量约为1040亿。尽管MoE架构能够减少单次推理需要参与计算的参数量，但模型权重仍然需要占用庞大的存储空间。据Tom's Hardware报道，即便采用社区提供的最小量化版本，运行该模型仍至少需要约610GB内存。对于普通家庭用户而言，直接使用大容量DRAM搭建这样的平台，成本相当高昂。

英特尔傲腾持久内存支持Memory Mode和App Direct两种工作模式。Memory Mode会将傲腾作为系统主内存使用，并以DRAM充当缓存，用户无需针对持久内存进行专门的软件适配。此前的第一代方案采用的就是这种模式。

App Direct模式则不同，它将傲腾内存暴露为独立的持久化存储区域，由操作系统和应用程序直接管理、映射和访问。这种模式允许软件更灵活地控制模型数据及张量的存放位置，也为DRAM与傲腾之间构建分层存储架构提供了条件。此前第一代方案的搭建者u/APFrisco也曾指出，这种方式能够对模型张量的存放位置实现更精细的控制。

使用傲腾替代DRAM，必须面对明显的性能损失。在此次实验中，即使采用1比特量化，初始推理速度也只有每秒0.85个Token；3比特量化下则进一步降至每秒0.75个Token。虽然关闭DAX后，1比特量化速度提升到了每秒1.50个Token，但整体性能仍然难以满足实时交互需求。

以每秒约1个Token估算，生成5万个Token需要约13.9小时，实际任务还可能因为上下文处理等因素耗费更长时间。不过，也有用户认为，对于可以在夜间运行的批量推理任务，生成速度并非唯一考量，能够以较低成本在本地运行超大规模模型，本身就具有一定价值。

作为对照，此前的第一代傲腾方案曾实现每秒约4个Token的推理速度，但两者并不具备直接比较的条件。早期方案运行的是参数量约1万亿的Kimi K2.5，采用2比特量化和Memory Mode，同时还使用了一块RTX 3060处理部分模型计算；此次方案运行的则是规模更大的Kimi K3，采用App Direct模式，且完全不依赖GPU。

散热问题是此次实验暴露出的另一个重要挑战。搭建者表示，在持续进行模型推理时，傲腾DIMM会变得极其烫手，并警告这些模块产生的热量可能危及相邻DRAM内存。这一问题并非偶然。根据英特尔相关工作条件资料，傲腾持久内存需要配合强制气流进行散热，在12W和15W功耗条件下，相关散热设计要求分别涉及约2.4米/秒和2.7米/秒的气流速度，这属于典型的服务器散热环境，普通家用机箱通常难以满足。

在功耗方面，英特尔官方资料显示，傲腾持久内存的模块功耗取决于容量及具体工作配置，128GB模块支持12W和15W配置，256GB及512GB模块还提供18W配置。需要注意的是，这些是内存模块本身的功耗，与此次使用的两台12W鼓风机并非同一项指标。如果多根模块同时进行持续读写，产生的累积热量将相当可观。

温度控制同样非常关键。英特尔规定，傲腾持久内存在83摄氏度时开始触发控制器降频，达到85摄氏度则触发热保护关机。因此，模块在持续工作时必须保持有效散热，避免温度接近热保护阈值。如果缺少足够的定向气流，不仅可能影响傲腾自身的性能和稳定性，还可能使相邻DRAM模块长期处于不利的温度环境中。

值得注意的是，目前公布的推理性能数据仍属于调优前结果，搭建者尚未针对CPU线程数量和NUMA亲和性进行充分优化，因此仍有进一步提升空间。

在后续计划方面，搭建者表示，准备为系统增加GPU，并尝试将部分模型数据加载到DRAM中，形成DRAM与傲腾协同工作的分层内存架构。通过将访问频率较高的数据放入速度更快的DRAM，同时利用傲腾承担大容量模型权重的存储任务，有望在保留大容量内存优势的同时改善推理性能。

该网友表示，后续还将公布更多基准测试结果。对于家庭实验室玩家而言，这项实验不仅展示了已经停产的傲腾持久内存在大模型时代的另一种用途，也再次说明：运行超大规模AI模型，解决内存容量问题只是第一步，内存带宽、数据访问方式、计算能力以及散热条件，同样决定着最终的实际使用体验。

总体来看，这项实验以极低成本验证了傲腾持久内存在家用环境下运行超大规模MoE模型的可行性，同时也清晰暴露出带宽、延迟与散热三方面的现实瓶颈。随着分层内存架构与GPU加速的引入，这一方案能否从“能跑”走向“好用”，仍有待后续基准测试给出答案。

小编将在第一时间分享更多相关最新动态和爆料，敬请关注。