HBM太贵，SSD太慢 AI决定在中间再造一层

最近这几年AI行业追逐的东西大同小异，

越来越先进的模型，随之而来的就是更多的GPU提供更强的算力。

所有人都将焦点聚焦于NVIDIA又推出了什么新卡，算力涨了多少倍。

偏偏最近NVIDIA开始反过来找云厂商租GPU用了，这个后话我们以后再聊。

每次我在用Codex将我的想法付诸编程的时候，我一直在思考：

当模型越来越大之后，能卡住AI的根本就不是算力，而是数据，

特别是AI需要数据不断地“流转”，而显然现在很多数据都来不及送到GPU进行处理。

比如我对AI对话框说一句话，终端显示的是AI在生成“文字”，

而实际上GPU要做的事情远远不止“计算”那么简单，

GPU要去读模型，读上下文信息、读历史数据、还要不断地读外部知识库。

在整个过程中数据会在GPU、HBM、DRAM、SSD之间来来回回流动，一刻不停地搬运。

GPU的性能的确是越来越快，但是存储系统的脚步则完全跟不上。

这也是为什么在最近的FMS 2026大会上，SK Hynix和Sandisk联手放了一个”大招“

High Bandwidth Flash（下文简称HBF）的第一版标准正式发布。

这个标准在8月初刚在开放计算项目上公开，联盟成员还包括了Google和Tenstorrent（半导体业界传奇人物Jim Keller的公司）。

这两家公司也算是给这个项目拉满了背书。

HBF要解决的问题也很直接：在HBM和SSD之间，再加入一个新的存储层。

今年CES期间我就写过HBF这件事，CES上很多科技大佬聊起AI时都开始担心“存储器够不够”，这种担忧甚至已经让老黄给各大存储企业现场打Call。

然而这种担忧并非是空穴来风，根据知名科技市场资讯机构Omdia的数据显示，三星、SK Hynix、美光三大DRAM原厂2026年晶圆总产出预计在1800万片左右，同比增产5%，

而大模型所需要的存储系统是呈指数级增长的，增产5%完全填补不了缺口。

在这种供不应求焦灼不堪的背景下，2026年2月SKHynix和Sandisk就正式启动HBF标准化联盟，

再到最近FMS 2026上发布的这份标准，是HBF这条线走了整整半年之后的阶段性成果。

AI时代，传统存储金字塔开始失效

过去的几十年我们设计存储结构，通常是CPU/GPU，然后是Cache、DRAM、SSD、HDD，

性能一层比一层慢，容量一层比一层大，价格也是一层比一层便宜。

其实底层逻辑也非常的直接，越接近计算核心的就要求速度越快，

所要付出的代价就是成本很高，而且容量很小。

这套存储金字塔几十年来被无数技术验证，

最终问题出在AI身上。

过去我们跑应用程序，读一点数据，CPU再处理一下，整个工作流就完成了。

工作流是一次性的，数据量不大，存储压力自然也就没什么。

跑AI则是另一种逻辑，首先AI模型本身就是数据，一个大模型基本上都是TB级的参数，

推理的时候要持续、反复访问这些数据，所以数据会不断的进行“流转”。

所以AI的工作流对存储系统提出了新的要求，现在是要求数据离GPU够不够近。

所以AI将存储系统变成了”计算“中的一个环节，在整个AI工作流中存储不再是计算的附属品，而是直接决定算力能不能被完全发挥出来的重要环节。

HBM很快，但扛不动AI

要了解为什么HBF会出现，就必须先知道HBM为什么会成为今天AI芯片的标配，以及它的优劣。

HBM，High Bandwidth Memory就是为了适配GPU超高带宽而生的，

它的设计哲学是“宽而慢”，相较于我们非常熟悉的内存设计哲学是“窄而快”。

HBM的优势非常明显，带宽极高，延迟极低。

目前搭配B200的HBM3E带宽大概在8TB/s，和B200这样的GPU封装在一起，

相比通过PCIe访问SSD，HBM与GPU的物理和电气距离都大幅缩短，从而获得极高带宽和更低访问延迟。

NVIDIA H100用的是HBM3，容量为80GB，H200升级到HBM3e，容量提升到141GB，

再到现在的Blackwell（B200），HBM3E容量进一步提升到接近200GB。

从这三代迭代的数据来看，容量的确在增长，但是能涨到多快呢？

HBM是快，但它有三个天生的硬伤，躲也躲不掉的那种硬伤。

首先就是容量限制，大模型的膨胀速度已经远远将HBM的扩容速度甩在了后面，

GPT-3已经拥有1750亿参数，而今天模型对高速内存的压力也早已不只是模型权重，

更长的上下文、更大的KV Cache、更高的并发，以及MoE模型需要管理的大模型权重，

都在不断吞噬GPU附近的高速内存。

现在量产的HBM3E是8层堆叠、单堆栈24GB左右；

JEDEC定的HBM4标准理论上限则是16层堆叠、单堆栈64GB。

以现在量产的HBM3E采用8层堆叠技术，24Gb颗粒打满的极限值，单堆栈普遍也只有24GB上下。

模型的增长曲线和HBM的增长曲线完全就不在一个次元上。

其次，HBM贵是众所周知的，HBM本质上就是高端DRAM，制造工艺上甚至比DRAM更复杂，

其中还涉及到关键的TSV硅通孔、3D堆叠、先进的封装工艺，每一道工序都是用钱”烧“出来的。

这直接导致目前HBM单位容量成本显著高于普通DRAM，更远高于NAND。

最后，GPU周围PCB板上能塞下芯片的面积是固定的，所以不可能无限的推HBM上去，而且推多了反而发热量就上去了，功耗也就一起上来了。

HBF：AI为什么需要一个“中间层”

简单来说，HBF的核心思路就是取NAND闪存的大容量优势，和高速接口并行架构，尽可能地向HBM级读取带宽靠拢。

我将第一版标准里的关键数据整理出来：

这个标准里有个细节我觉得非常值得单独拿出来说说，我们都知道SSD走的是PCIe通道，PCIe通常也被称为板级外设接口，

而HBF走的是UCIe封装级的互连，这是一种专门为”芯粒（Chiplet）“之间、封装内部而设计的高速互连标准，

这让HBF从架构上和物理意义上的更靠近了GPU。

还有一点值得也需要说一下，这个特性直接奠定了HBF在AI基础设施上的经济性。

HBF用的是NAND闪存，NAND属于非易失性存储，也就是断了电数据依旧不会丢失，所以不需要像HBM那样需要持续的供电“续命”。

SK Hynix在今年2月份在IEEE上发过一篇论文，提出了H³的HBM+HBF混合架构，

拿目前量产的Blackwell B200仿真模拟，8颗HBM3E配8颗HBF：

跟纯HBM方案进行能耗对比，Sky hynix的模拟结果显示，每瓦性能提升2.69倍，

长上下文场景下（千万级Token的KV Cache）能同时处理的请求数最多能拉到18.8倍。

简单来说，同样的电费下采用HBM+HBF混合架构比纯HBM方案能多干将近2.69倍的活。

HBF瞄准的是AI推理

首先，从SK Hynix和Sandisk这次发布的标准来看，HBF并非是要取代HBM。

如果你是一个机器学习平台工程师，你就会知道训练阶段和推理阶段，对存储的需求完全是两种方案。

训练阶段需要高效极致的计算速度，GPU+HBM这套组合虽然贵，但依旧是训练场景里最佳的解决方案。

而到推理阶段对存储的需求就完全不同了，AI Agent、企业AI助手、智能搜索、多模态应用，这些都需要存储具备长期记忆和具备海量上下文的能力。

比如说，一个企业AI助手，当它要访问企业内部文档、数据库、历史聊天记录、用户使用习惯的时候，这些海量的数据HBM是完全无法满足的。

所以推理阶段大概率需要更为合理的分层方案：

HBM自然是存放需要不断“流动”的热数据，实现随取随用；HBF放模型本身和需要高频访问和响应的数据；SSD继续承担大容量持久化、高速数据集；HDD/Object Storage则进一步承接冷数据、训练数据集和长期归档。

HBF不是孤例，是AI存储革命的一环

我们将视野拉得再远一点来看，HBF只是这场“AI存储革命”里的一块拼图，跟另外几项技术是同步推进的。

例如，让GPU绕开CPU直接从存储设备读取数据减少等待时间的GPU Direct Storage，

以及把内存资源池化，让服务器内部CPU和GPU能共享一大片Memory资源池的CXL；

大模型的上下文窗口越拉越长，KV Cache占用的存储压力也就越来越大，需要新的高速存储层来接住这部分负载。

这几项技术凑在一起，就形成了未来AI的存储层次金字塔：

一层比一层容量更大、成本也越来越低，依旧遵循的是传统存储金字塔的结构，

只不过AI在进入推理阶段后，需要在中间塞进HBF和CXL Memory这两个新分层，

HBF对HBM的容量限值进行补充，CXL Memory则解决内存扩展、池化、共享和一致性互连。

这六层AI存储层次金字塔可能成为未来AI基础设施的一种重要架构方向。

SK hynix和Sandisk的小算盘

SK Hynix是公认的HBM赛道最大的赢家之一，靠着给NVIDIA供货吃到了一波红利，

但它心里也清楚，HBM并不能覆盖AI存储的全部问题，

通过HBF来提前布局下一代AI存储，至少两条腿走路总比一条腿蹦跶强。

Sandisk这边则恰恰相反，Sandisk在经历品牌拆分和SSD竞争红海之后，

其利润空间已经被压得很薄，HBF的出现给了Sandisk在逆境中的一条新出路，

甚至HBF给了NAND一个新的身份，简直就是被存储之神所眷顾。

过去没有AI的时候，计算负责计算，存储负责保存，井水不犯河水。

现在AI出现，这条计算和存储的界限正在被渐渐抹除，

毕竟模型就是数据，数据就是算力

HBF目前还只是第一版标准，距离实现大规模商业化落地还有一段路要走，

但同时它向存储行业释放出明显的信号：AI正在重构存储的金字塔结构。

我年初写HBF那篇文章时结尾说过一句话：“现如今HBM已然成为稀缺资源，继续堆叠不算是创新，重新分配才是。”

半年多过去了，这句话被写进了一份正式标准里。

历史总是这样，你要先敢想，才有机会变成现实。