d-Matrix详解3D-DRAM AI芯片：单卡带宽超100TB/s，能效比HBM高10倍

芯东西（公众号：aichip001）
编译 崔嫄伟
编辑 陈骏达

芯东西9月4日消息，据ServeTheHome报道，8月23日，在全球顶级半导体架构研讨会Hot Chips 2026上，美国AI推理芯片初创d-Matrix系统性详解了Raptor 3D-DRAM生成式AI推理加速器的创新架构、堆叠方案与测试结果。Raptor 3D-DRAM采用台积电N4逻辑裸片与3D DRAM裸片面对面堆叠的架构，来解决AI推理中的内存容量与带宽双重瓶颈。

在硅面积基准对比中，Raptor的单位面积带宽达32.6GB/s/mm²，约为HBM4和NVIDIA Rubin R200的20倍；每GB/s功耗仅2.96mW，较HBM方案的40mW改善13.5倍。Raptor测试结果显示，Raptor 3D-DRAM可对3万亿参数量级模型提供百万token上下文的推理服务，多用户批处理情况下，平均每位用户的token吞吐量可达1000。

d-Matrix提出该方案的核心背景在于AI推理中内存墙的持续加剧。模型权重不断增长的同时，KV cache随上下文长度与批量大小的乘积扩张，在1百万token上下文长度下，64路并发用户对应的KV cache占用约为935GB。

一、SRAM容量与HBM带宽双重受限，3D-DRAM垂直IO能效较HBM提升10倍

现有技术路径中，两块Corsair SRAM加速卡组合可实现约300 TB/s带宽，延迟约1纳秒，但总容量仅4GB左右。单个6T‑SRAM存储单元的面积约为DRAM单元的10倍；一旦缓存达到GB级规模，仅漏电功耗便可达到数十瓦。因此SRAM仅适合投机解码中的草稿模型，无法存放前沿模型权重。

HBM依托1T1C DRAM单元具备很高存储密度，单封装包含8个HBM堆栈，单个HBM堆栈有8-16个核心裸片，能够实现大容量内存。但HBM带宽向SRAM级别看齐存在多重阻碍：HBM基底裸片的引脚速率、I/O位宽迭代缓慢；HBM堆叠数量受芯片封装边缘物理空间约束；若占用全部裸片边缘布置HBM，中介层尺寸、芯片翘曲等封装挑战会急剧放大。以搭载HBM4的英伟达Vera Rubin、AMD MI455为例，现有产品实际带宽上限约20 TB/s，与SRAM数百TB/s的带宽存在数量级差距。

如此高的带宽需要付出高昂的功耗代价。HBM世代迭代持续优化单比特传输能效，HBM4相较前代可以在更高带宽下实现更低的功耗。但能效的改善跟不上带宽扩张的需求；若依靠HBM实现百TB/s级的SRAM水准带宽，即便单比特能耗控制在2.4pJ/bit，仅内存部分总功耗就将达到1.92 kW，工程落地难度巨大。现有封装既没有足够的边缘引脚空间，也不具备对应的功耗预算，无法依靠HBM实现SRAM级别的带宽水平。

d-Matrix的答案是将计算逻辑直接堆叠在DRAM die之上，即3D-DRAM。这一方案面临热与供电两大挑战：DRAM位于逻辑裸片上方时，计算产生的热量需通过温度敏感的DRAM堆栈散出，热阻高，散热成为难以逾越的障碍；逻辑裸片置于顶部时，数百瓦需通过DRAM中的穿透硅通孔技术（TSV）传输，会带来IR drop问题。d-Matrix指出，单层逻辑堆叠在功率密度不超过0.5W/mm²时可通过液冷将DRAM温度控制在100°C以下。

SRAM能够提供极高带宽，但容量严重受限；HBM具备大容量优势，带宽受裸片封装边缘空间约束，数据需要经过PHY与厘米级中介层走线传输，带来较高的传输能耗。3D‑DRAM采用计算裸片置于DRAM堆叠之上的架构，依靠垂直IO实现存储与计算互连，无需PHY接口，信号路径缩短至毫米级，不存在横向的数据搬运，不再受beachfront封装边缘的限制。其单bit传输能耗仅约 HBM的十分之一，可以实现SRAM级别的带宽；同时DRAM堆叠层数最多4层，对比HBM的12‑16层堆叠，具备更优的良率表现，存储容量介于SRAM与HBM之间。

大模型推理分为预填充（Prefill）与解码（Decode）两个核心阶段。Prefill阶段并行处理全部输入Token，属于计算吞吐量瓶颈；Decode阶段采用自回归方式逐Token生成输出，需要反复读写KV缓存，普遍受内存带宽约束。对于Agent类多轮长会话业务，系统会复用历史KV缓存避免重复计算，上下文持续膨胀，进一步放大解码阶段的内存带宽压力。现有HBM方案受封装边缘空间与功耗限制，带宽提升存在天花板，这也是3D‑DRAM高带宽架构的重要落地场景。

二、Raptor协同优化三大工程约束，带宽零浪费、刷新损耗1.37%

Raptor的具体实现采用台积电N4逻辑裸片通过36μm面对面堆叠置于3D DRAM裸片之上，d-Matrix称该工艺已验证成熟、低成本、适合高量产且良率高。

单卡配置32GB内存，采用4‑bit权重与8‑bit KV缓存，d‑Matrix称其可将整套系统压缩至单机柜内部。72卡扩展集群能够部署Kimi K3这类前沿大模型，并支持1百万token上下文窗口；借助硬件解耦与多机柜组网，还可突破单机柜的能力上限。

该芯片系统层面围绕内存子系统、低延迟数据移动fabric和工作负载映射三方面进行协同设计。

将3D-DRAM转化为可用系统这种方案暴露了三大相互纠缠的工程挑战，且任一挑战的解决方案都会约束另外两者的设计空间。

其一是bank-to-channel映射问题：每个张量引擎每次访问需128B flit，而单颗chiplet的840个bank（含72个备用后可用768个）分布在256个channel上，每channel仅3个bank，每次访问返回96B，导致128B flit需两次访问取192B，约33%的带宽（约33TB/s）被浪费。

d-Matrix以Stream Blocking方案破解：将一次部分32B访问由三个flit共享，使4次访问共384B恰好喂给3个128B flit，过度获取降为零，且无需额外移位网络。

其二是I/O功耗墙：以0.37pJ/bit计算，100TB/s带宽仅I/O即消耗296W。传统DBI（数据总线反转）可节能约20%，但HBM依赖多周期突发使PHY看到完整数据并设有专用侧带引脚，而Raptor的单周期256-bit 3D-DRAM链路既无突发也无侧带引脚。

d-Matrix提出Stream Flipping（无引脚DBI）方案：每个flit与前一个flit逐位比较，需要时整体反转，将翻转率降至接近零，每个flit仅增加一个元数据位并与ECC位共存，开销仅0.8%且无需改动PHY，实现了完整的20%I/O功耗节省。

其三是105°C结温下的DRAM可靠性。840个bank意味着即使1%的故障率也可能丢失整个channel，而丢弃已键合die在经济上不可行；禁用故障bank会缩窄对应channel，单个弱channel即可拖累整个slice；同时高温导致更多软错误，保持时间从85°C下的32ms骤降至105°C下的4ms，刷新频率需提高8倍。

d-Matrix以两项设计应对：深度banking将行数从传统约32K行降至1366行，使8倍刷新的带宽代价仅约1.37%，同时ECC与DBI位交错布置在子阵列最后8列，采用Reed-Solomon码与商品ECC组合。

Bank Chaining则通过两级物理多路复用器，第一级跳过首个故障、第二级跳过第二个故障，使72个备用bank可吸收裸片上任意位置的故障，channel始终保持对称，路由开销可忽略。

结语：3D-DRAM或重塑AI推理内存架构，大规模商用仍待实际运行验证

如果3D-DRAM能够有效缩小内存带宽差距，它将重塑加速器厂商在AI系统中对容量与带宽的权衡方式，为生成式推理提供一条不同于HBM路线的技术路径。

这类与当前主流架构相邻的方案也会引发一个疑问：为何行业并未普遍采用？这也意味着该方案的商业化仍需回答生态兼容性、供应链成熟度等实际问题。

HBM路线本身也在持续演进，3D-DRAM与HBM在AI推理场景中的长期竞争格局，将取决于两者在带宽、容量、功耗和系统总成本上的综合权衡结果。

来源：ServeTheHome