河南
标准HBM内存已经满足不了NVDIA了，黄仁勋带来了谋划已久的定制高带宽内存NVHBM。
随着人工智能代理和万亿参数工作负载成为主流，AI基础设施的性能不仅取决于计算能力，还取决于计算、内存、存储、网络和软件如何作为一个统一的系统进行设计。
NVIDIA日前正式宣布，将NVHBM定制高带宽内存集成到NVIDIA NVLink Fusion中。
简单来说，NVIDIA NVHBM是一种新型高带宽内存技术，主要目标是为XPU带来更高的内存性能和效率。
按照官方说法，传统的HBM架构将内存控制器、PHY物理层接口放在XPU主计算裸片上，不仅占用大量宝贵的硅片面积，多芯片互联时还会带来中介层布线复杂、延迟提升等问题。
随着模型规模指数级增长，这种架构正在成为算力密度提升的核心瓶颈。
而NVHBM则是将NVIDIA定制的内存控制器集成到3D HBM堆栈，同时提供体积大幅精简的定制PHY接口，与标准 HBM4E相比，带宽可提升30%，功耗可降低15%，同时在XPU上释放25%的计算芯片面积。
芯硬件注：广义上CPU、GPU、NPU、TPU、DPU、FPGA等一切具备计算能力的处理单元，都可以称之为XPU。
狭义上理解，XPU指除通用CPU、标准GPU之外的各类专用AI芯片，比如谷歌 TPU、亚马逊Trainium、各类NPU、定制 AI ASIC等。
上面这张图看的比较清楚，XPU使用NVHBM拥有更大的计算Die面积
另外，NVHBM作为标准化组件纳入NVLink Fusion工具包，面向生态合作伙伴开放。
NVLink Fusion是NVIDIA基于NVLink技术推出的对外开放互联生态与半定制基础设施方案，把原本仅用于NVIDIA自家GPU、Grace CPU的NVLink高速互联技术，以IP授权、芯片模块、设计工具包的形式开放给第三方厂商，让定制AI芯片（XPU）、通用CPU也能接入NVIDIA的机架级NVLink全互联网络，共享成熟的AI算力基础设施。
通俗来说，普通NVLink是 NVIDIA自家设备的内部高速总线，NVLink Fusion是这条总线对外的 “标准接入接口”，第三方厂商不用从零自研机架级高速互联，就能让自己的芯片融入NVIDIA的AI算力生态。
据悉，亚马逊安纳普尔纳实验室（Annapurna Labs）是NVHBM的首个落地合作伙伴，双方将共同推进NVHBM技术与 NVLink扩展架构的集成，优化全场景AI工作负载的性能与能效。
安纳普尔纳副总裁纳菲亚・布沙拉（Nafea Bshara）表示：“NVHBM代表了一种提升高带宽内存性能和效率的全新架构方法，我们期待这项技术合作能够惠及未来的AWS基础设施设计。”
按照规划，亚马逊下一代Trainium系列AI芯片（从 Trainium 4 开始）将采用NVLink Fusion接口，在统一的机架级架构下实现NVIDIA GPU与亚马逊自研芯片的高速互联，后续迭代产品将原生集成NVHBM技术。
另外，NVIDIA此前已在GTC大会上明确，下一代Feynman架构GPU将采用定制HBM方案，这也意味着Feynman将成为首款搭载NVHBM的NVIDIA自研GPU产品，预计将于2028年下半年正式量产，采用台积电 A16（1.6nm）工艺与 3D堆叠封装技术，单卡HBM容量将提升至1TB级别。
需要说明的是，目前NVHBM的技术收益首先面向NVLink Fusion生态的定制芯片客户，已经投入量产的Vera Rubin机架级系统暂不支持该技术。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
