InfiniBand大有可为，以太网是永远的赢家

公众号记得加星标⭐️，第一时间看推送不会错过。

早在远古时期，个人电脑和服务器就有两种相互竞争的未来 I/O 方案。随着互联网泡沫的蓬勃发展，他们摒弃前嫌，达成妥协，最终形成了 InfiniBand 端口和交换结构，作为所有计算的 I/O 总线。

然而，互联网泡沫破灭了，所有认同这一标准的人都放弃了它，转而专注于以太网，用于点对点互连（就像我们的个人电脑和服务器连接到互联网或内部网络一样），以及我们现在所说的横向扩展（scale-out）网络，用于聚合多台机器的计算资源。鉴于当时严峻的经济形势，业界也选择了升级后的PCI-X总线，后来又推出了PCI-Express总线用于外围设备。

InfiniBand作为一种高性能、低延迟互连技术，由Voltaire和Mellanox Technologies两家公司重新发掘。Mellanox提供交换机ASIC和网卡，而Voltaire则生产面向HPC ModSim工作负载的交换机。

2010年11月，Mellanox以2.18亿美元收购Voltaire，巩固了其在InfiniBand交换领域的地位。由一群前Unisys技术人员创立的InfiniCon Systems也加入了这场竞争，经过多次重组，最终成为QLogic，成为Mellanox在InfiniBand领域唯一的真正竞争对手。

2012年1月，QLogic被英特尔以1.25亿美元收购。 （QLogic团队于2020年9月从英特尔分拆出来，成立了Cornelis Networks。）TopSpin是一家InfiniBand交换机厂商，于2005年被思科系统收购。在联合创始人Andy Bechtosheim的领导下，Sun Microsystems在其“Constellation”高性能计算集群中采用了InfiniBand作为集群技术，并自主研发了InfiniBand ASIC和网卡。

Oracle在2009年4月以56亿美元收购Sun Microsystems后，继续推进InfiniBand技术的应用。为了巩固自身地位，Oracle甚至收购了InfiniBand交换机制造商Xsigo Systems，并最终决定将以太网作为其横向扩展、横向延伸和跨域扩展的网络平台。

超以太网联盟（Ultra Ethernet Consortium ）成立于2023年7月，其理念是将InfiniBand的低延迟、高带宽以及部分服务质量和自适应路由功能，与以太网的高可扩展性、多租户和服务质量特性相结合，打造一个横向扩展网络，其性能将远超InfiniBand，并能支持旨在承载100万个终端的AI集群。此外，以太网也正逐步应用于英伟达NVSwitch互连技术的纵向扩展领域，该技术可将GPU内存整合到一个统一的共享内存空间中，支持72个加速器，并且如果可以接受一定的延迟跃点，网络还可以扩展到支持576个设备。

郑重声明，我非常喜欢InfiniBand和NVSwitch。InfiniBand在过去二十五年里一直是无可争议的低延迟领导者，至今仍保持优势，这也是为什么我认为英伟达在截至7月份的过去十二个财年中实现了257.4亿美元的收入。这几乎与英伟达以太网和NVSwitch互连产品的总销售额（256.7亿美元）持平。但对于大型集群而言，这可能已经是InfiniBand的巅峰时期了，因为众多超大规模数据中心、云平台和人工智能模型构建商都在转向采用即将推出的Ultra Ethernet技术，而像博通、思科系统，甚至英伟达自身这样的以太网ASIC供应商也在努力降低其以太网架构中的端口跳转延迟和端到端延迟。

十多年前，我曾撰文指出，InfiniBand 被以太网淘汰的速度太快了。我预计，InfiniBand 仍将由英伟达长期提供。如今，除了中国一些基于 InfiniBand 的定制高性能计算互连产品（这些产品由曾经独立的 Mellanox 公司授权和认可，但可能已经过改进，不再被称为 InfiniBand）之外，英伟达几乎是唯一一家提供 InfiniBand 的供应商。但鉴于以太网的规模优势以及与园区网、边缘网络和数据中心网络的广泛兼容性，它无疑会将 InfiniBand 限制在一个相对小众的领域。

展望未来，用于纵向扩（Scale-up）的 NVswitch 和用于横向扩展的 Spectrum-X Ethernet 将主导英伟达自身的销售。这是客户的需求，而非厂商的推动。企业肯定会需要以太网，人工智能模型构建者也需要——甚至包括 Meta Platforms，该公司曾在早期的人工智能集群中让 InfiniBand 大放异彩。

我认为，未来英伟达或许会乐于向那些CPU、GPU和XPU加速器都配备NVLink端口的客户销售NVSwitch网络解决方案。毫无疑问，这需要相应的软件支持。但就目前而言，英伟达的公开声明是不允许这样做的。

从长远来看，人工智能系统中的规模化网络将会发生一些不同的变化。

目前，英伟达的GPU收入可能占到总收入的95%，GPU/XPU总收入可能占到75%，凭借NVLink/NVSwitch，它在横向扩展网络领域占据主导地位。到2027年，这种情况可能只会略微下降几个百分点。

但值得注意的是，超大规模数据中心、云平台构建商、人工智能模型构建商和大型企业更倾向于采用能够实现不同硬件供应商之间互换性的广泛应用的标准。NVLink Fusion 的出现意在阻挠 UALink 和 ESUN/SUE-T 的发展，试图将不可避免的变革推迟一两代。

但科技巨头们想做什么就做什么——他们有足够的资金为自己的设备制定新的标准，而且完全有理由相信，他们最终会像2014年那样达成一致，当时谷歌、微软和Arista Networks受够了行动迟缓的IEEE（电气电子工程师协会），后者坚持使用10 Gb/s的信号传输速率和10条通道。这让他们忍无可忍，最终他们让IEEE“滚出厨房”。

UALink 可以与 NVLink/NVSwitch 完全匹敌，端口与端口之间也能无缝对接，而且理论上其扩展能力几乎是 NVLink/NVSwitch 的两倍。UALink 1.0 规范将于 2025 年 4 月发布，单层 UALink 交换即可支持多达 1024 个 XPU 或 GPU。我们几乎可以肯定，要实现 576 个 GPU 共享内存，至少需要两层 NVSwitch。

UALink 和 ESUN/SUE-T 阵营有可能——甚至可以说是极有可能——会冰释前嫌，制定一个各方都满意的标准，而这个标准很可能被命名为 UALink 2.0。（CXL 内存一致性标准就是这样诞生的。）而这个假想的 UALink 2.0 标准将直接与 NVSwitch 展开竞争。InfiniBand 的端口跳数延迟在 100 纳秒到 120 纳秒之间，仅为以太网交换机的三分之一到二分之一，而 UALink 规范中指出，端口到端口的跳数预计在 100 纳秒左右。（规范并未规定具体的延迟；厂商会根据实际情况进行调整。）有传言称 NVSwitch 的端口跳数更接近以太网而非 InfiniBand，但这一点尚未得到证实。如果这些传言属实，UALink厂商能够实现类似InfiniBand的低延迟，那么这对UALink阵营来说将是一个巨大的优势。如果他们还能在以太网交换机上实现这一点，那就更好了。

猜猜如果 UALink 成功并成为事实上的横向扩展网络标准会发生什么？英伟达会竭尽全力打造最好的 UALink 交换机和端口，然后凭借 NVLink/NVSwitch 赚个盆满钵满，可能就达到 1000 亿美元。就像它在如今这个以太网至上的世界里，靠销售 InfiniBand 横向扩展网络赚到这么多钱一样。

（来源：nextplatform）

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4516期内容，欢迎关注。

加星标⭐️第一时间看推送~

求推荐