从GPU、LPU到“MPU”：熵旋芯智以MITA架构重算AI推理成本

大模型推理的性能瓶颈随工作负载而变化。Prefill阶段具有较高的矩阵计算并行度，而在低批量Decode场景下，模型权重访问难以被大量Token摊销，存储带宽与数据搬运成本往往成为影响推理效率的重要因素。随着上下文增长，KV Cache访问又会带来额外的存储压力。不同瓶颈需要不同的架构回应。熵旋芯智选择从权重密集型计算入手，面向MoE专家网络等典型负载，通过MRAM存内计算优化权重存储与计算路径，为提升Decode效率提供新的技术方案。

一家2026年成立的芯片公司选择处理其中的权重路径。

熵旋芯智提出首代MRAM存内计算架构MITA（MRAM In-Memory Tensor Architecture），并将基于MRAM的处理单元命名为MPU（MRAM-based Processing Unit）。

旨在让适合映射的权重驻留在片上MRAM阵列，由激活数据流入阵列完成矩阵运算，减少这些权重在每轮Decode中反复从外部存储进入计算路径的开销。

从缩短搬运距离，到让权重原位参与计算

理解这条路线，可以从一个问题开始：模型权重存在哪里，又在哪里参与计算？

GPU依托HBM、片上缓存与计算单元组织数据流，凭借通用性和成熟生态支撑大规模推理。当工作负载受带宽限制时，权重与KV Cache的读取，则可能成为进一步提升效率的约束。

Groq LPU将存储重心移向片上SRAM，并通过编译调度组织计算与传输。这条路线展示了片上访问的效率，也需要在存储容量、芯片数量和互连开销之间取舍。

MITA进一步把部分矩阵运算放进存储阵列：适配后的权重映射并驻留于MRAM，激活数据进入阵列参与计算，结果再交由后续单元处理。

这意味着，已驻留权重在执行对应运算时，无需反复经过外部存储到独立计算单元的路径。系统仍需要缓存、读出、互连与控制电路，但权重密集型计算的数据流有了新的组织方式：

让激活流向权重，让权重在存储原位参与计算。

聚焦MoE专家层，以异构协同改善推理效率

架构价值，需要落实到具体负载。

MoE 模型通过稀疏激活机制，在控制单次推理计算量的同时扩展模型参数规模。在主流 Transformer-MoE 架构中，MoE 层通常以“路由器（Router）+ 多个前馈专家（Experts）”替代传统的稠密前馈网络（FFN）。每个专家本质上是独立的前馈网络（FFN/MLP），其核心计算由多个线性投影构成。推理时，每个 Token 通常只激活少量专家，因此专家权重的存储与读取、动态调用分布以及跨设备调度效率，都会直接影响系统的实际推理性能。

MITA 聚焦 MoE 专家内部的权重密集型线性运算，利用 MRAM 存内计算技术，在存储阵列内部完成适配的矩阵乘法。当专家权重能够常驻 MRAM 阵列时，后续 Token 可直接复用已存储的权重，减少重复的外部权重搬运，从而降低数据访问开销，并提升专家计算的执行效率。

容量边界同样明确：超大规模模型需要结合阵列容量、量化精度和专家分配进行部署，多颗芯片之间还需协调负载与通信。长上下文带来的KV Cache压力，也仍需由系统中的HBM、SRAM等存储层承接。

MITA以专用FFN加速模块接入现有推理系统，重点承担MoE专家内部的线性投影计算，并结合配套数字处理单元完成必要的局部运算，与GPU协同执行注意力、路由及整体推理流程。通过优化专家映射、局部数据流和异构执行路径，力求减少跨设备数据交换与同步开销。构架构的整体收益不仅取决于单芯片的计算与存储效率，还受到芯片间（C2C）、板卡间（Card-to-Card）互联的带宽、延迟、数据交换频率及同步开销影响。特别是在逐Token生成阶段，跨设备通信与同步延迟可能难以完全通过流水线掩盖。因此，需要通过合理的专家部署、数据流组织和计算通信协同，降低异构执行过程中的额外系统开销。

熵旋芯智以单位Token推理成本降低90%作为长期技术与商业目标。与传统GPU推理系统相比，MITA不仅希望通过权重原位计算降低存储访问与数据搬运开销，还将通过片上高密度权重部署、专家计算加速及异构协同优化，探索进一步降低整机部署与运行成本的可能性。这一目标的实现，需要在相同模型、推理精度、并发规模、上下文长度及服务质量约束下，综合衡量芯片面积与制造成本、硬件投入、整机功耗、GPU与F卡之间的通信、多芯片及多板卡互联、系统调度效率和有效吞吐能力。其最终价值将以端到端推理性能及总体拥有成本（TCO）为依据，通过真实客户负载持续验证。

从器件到软件，工程能力决定收益能否落地

MRAM存内计算的竞争，最终要落到容量、精度、能效与软件适配的共同优化。

首先是权重驻留能力。MRAM的非易失性，使权重在断电后仍可保留，无需依靠持续供电维持存储状态；其密度潜力，也为扩大片上权重容量提供了空间。具体收益仍取决于工艺、阵列结构与外围电路配置。

其次是计算精度。按照公司介绍，MITA利用磁性隧道结的阻态差异调制读出电流，通过阵列内电流聚合完成相应运算。器件一致性、读出裕量、多比特编码与校准机制，需要共同保障模型精度，并控制外围电路开销。

第三是软件协同。哪些算子进入阵列、权重如何映射、多芯片如何分担专家，都需要编译器、仿真器与运行时配合。熵旋芯智正围绕“模型—编译—映射—仿真—执行—优化”构建工具链，让硬件设计与真实负载相互反馈。

制造基础也在推进。全球领先晶圆代工厂正加速推进 MRAM 向先进制程演进，并已取得实质性产业化进展。三星电子已实现28nm FD-SOI eMRAM量产，14nm eMRAM完成工艺开发并推进产业化；2026年，其8nm eMRAM实现满足量产良率要求的硅片验证，并已获得客户导入。与此同时，三星在2026年VLSI国际学术会议上公布了5nm eMRAM的实测研究成果，验证了其在先进逻辑节点集成及车规级可靠性方面的技术可行性。台积电方面，22nm和16nm eMRAM均已通过AEC-Q100车规认证并实现量产，12nm及5nm eMRAM也在持续研发。

这些进展表明，MRAM技术已从成熟节点的商业化应用，发展到先进节点的客户芯片导入与更先进制程的实测验证阶段，正在形成支撑下一代存内计算芯片发展的先进制造工艺基础。具体MRAM存内计算产品仍需在计算精度、阵列一致性、良率及系统性能等方面完成独立验证。

用样片与客户负载，检验新的推理账本

熵旋芯智团队具有中科院半导体所技术背景，正将MRAM器件研究延伸至芯片架构与推理软件。按照公司规划，后续将推进2027年MPW验证及客户送样，并以2028年量产为目标。

从架构发布到产品交付，MITA接下来需要回答的是：在客户实际运行的模型中，多少权重能够驻留，多少搬运能够减少，最终能够降低多少单位Token成本。

当AI推理开始逐个Token核算投入，减少权重搬运，就成为重算成本账本的一条路径。熵旋芯智要做的，是把这条路径变成可验证、可部署的产品。

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。