以太网快速演进，连接更多GPU

公众号记得加星标⭐️，第一时间看推送不会错过。

人工智能行业痴迷于提升速度和规模。更快的处理器、更大的模型、更多的GPU、更大的AI工厂。

然而，令人不安的事实是，即使是少量的丢包也会显著降低世界上一些最先进、最昂贵的计算资源的性能。

这就是现代人工智能基础设施的核心悖论。

业界正在构建包含数万个GPU的庞大系统，却发现它们的整体性能取决于彼此间极其精准的通信能力。单个处理器或许是技术奇迹，但人工智能训练归根结底是一项团队协作。在同步的集体操作中，进度往往会受到最慢参与者的限制，因此GPU或数据传输的延迟会拖慢整个团队的步伐，而等待的成本是巨大的。

要了解该行业是如何发展到今天的，了解日益复杂的模型训练如何改变了流量模式会有所帮助。

现代训练任务会将工作分配到多个GPU上，这些GPU会反复交换梯度、参数或激活值等数据，然后再进行下一步。由此产生的流量高度同步，具有极强的突发性，并且绝大多数是东西向的。数千个处理器可能几乎同时到达同一个同步边界，交换信息，然后等待组内所有成员都准备好继续执行。本质上，如今的网络已成为人工智能计算系统不可或缺的一部分。

第一代人工智能以太网

以太网一直在不断适应新的需求，而人工智能训练加速了这一发展进程。

业界最早推出的重要解决方案之一是基于融合以太网的远程直接内存访问（RDMA），即 RoCEv2。它使终端能够通过以太网和 IP 网络在应用程序内存区域之间直接传输数据，从而绕过了大部分传统的操作系统网络路径。RoCEv2 通过降低处理开销和延迟，使以太网更适合 GPU 之间的同步通信。

然而，快速传输数据只是挑战的一部分。管理拥塞和减少丢包同样重要。优先级流控制 (PFC) 等技术可以在接收端缓冲区溢出之前，暂时暂停优先级流量的上行传输。显式拥塞通知 (ECN) 允许交换机在拥塞加剧时标记数据包，从而使端点拥塞控制机制能够降低传输速率以应对拥塞。

物理架构也随之演进。在许多大型人工智能集群中，通用的叶脊式架构已被轨道优化架构所补充或取代，在这种架构中，GPU接口被映射到专用网络平面。这些设计可以提供更高的流量隔离性、弹性和可预测性。

这种组合效果显著。以太网再次实现了自我革新，以满足新型应用的需求。

但随着集群规模的扩大，GPU 间的通信量和复杂性都显著增加。拥塞管理变得更加困难，数据丢失恢复成本依然高昂，配置也更加复杂，而且不同厂商实现的拥塞避免技术也往往存在差异。为上一代集群设计的解决方案开始难以满足下一代集群的需求。

问题不再仅仅是如何构建更快的网络，而是如何协调海量的同步流量，同时避免这些流量之间发生冲突。

从避开拥堵到巧妙应对拥堵

行业接下来的回应代表着理念的转变。

传统网络通常将每个数据流分配到一条选定的路径，而动态负载均衡则可以在网络结构中移动数据流（或称流单元），同时尽量减少数据包的重排序。新兴的人工智能传输技术更进一步，允许来自同一通信流的数据包同时使用多条路径，并将乱序到达视为一种预期的传输情况。

超以太网联盟( UEC) 通过超以太网传输层 (UET) 推进了这一方法。UET 是超以太网架构中定义的传输层。UET 可以将来自同一通信流的数据包分发到多条路径上，同时允许接收端处理乱序到达的数据包。

这是一个重要的概念转变，因为交通运输不再只是在拥堵发生后才做出反应，而是可以更多地利用现有资源，并降低单个路段成为瓶颈的可能性。

开放计算项目(OCP) 的多路径可靠连接 (MRC) 规范定义了一种新的开放式 RDMA 传输协议，用于 AI 训练网络，支持逐包多路径操作、增强的拥塞控制和更快的丢包恢复。MRC 使用包括基于熵的数据包喷射和 SRv6 源路由在内的机制，在可用的网络路径上分配和引导流量。Meta 通过 MetaRoCE 实现了类似的目标，MetaRoCE 是一种专为 AI 规模以太网设计的全新 RDMA 传输协议。

尽管这些方法各不相同，但它们指向同一个方向：人工智能架构正变得越来越支持多路径、遥测数据丰富且能够响应工作负载需求。路径选择、拥塞管理和丢包恢复的责任越来越多地由网络及其连接的系统共同承担。

这种演进不太可能随着单一协议的采用而结束。人工智能架构的变化速度太快，业界无法宣布问题已得到解决。因此，持久的需求并非忠于某种传输机制，而是构建一个能够随着这些机制的演进而不断适应的网络基础架构。该基础架构必须提供可预测的连接、丰富的遥测数据和实时拥塞感知，同时使终端技术能够智能地利用网络资源。

以太网的优势在于其协议背后庞大的生态系统：可互操作的交换机制、标准化的物理层、易于操作的特性以及庞大的多厂商供应基础。这一基础使得传输和拥塞控制机制能够不断发展演进，而无需业界放弃现有的基础设施。

野兽即将离开工厂

但这还不是故事的结局。

业界的大部分注意力都集中在训练和构建超大规模人工智能工厂上。训练创造了那些吸引了全世界目光的模型。但推理才是让这些模型能够回答问题、提出建议、自动化工作流程、生成内容和控制物理系统的关键所在。

随着人工智能服务向广泛的商业部署迈进，人工智能基础设施可能会变得更加分布式，尤其是在工作负载部署受延迟、数据主权、弹性或电力可用性等因素影响的情况下。企业、政府、开发者和云服务提供商将越来越多地通过GPU即服务（GPUaaS）及相关模式获取高性能计算资源，而不是自行构建所有功能。人工智能资源将分布在中央、区域和边缘设施中，并根据应用需求而非固定的架构模型进行部署。

最终形成的系统将比孤立的GPU集群复杂得多。计算资源、数据平台、内存、专用加速器、推理引擎和缓存上下文可能位于不同的设施和不同的管理域中。因此，数据、模型和上下文需要安全高效地跨越设施、运营商和网络边界进行传输。

因此，该网络必须从连接人工智能工厂内部的处理器发展到连接整个人工智能经济体的智能。

这一点，其影响已远不止于基础设施性能。分布式人工智能将支撑智能制造、仓储自动化、预测性维护、医疗诊断和自动驾驶等服务。在这些环境中，网络不再仅仅是人工智能服务的输出载体。其性能、弹性和运行灵活性将显著影响服务的响应速度、可用性和规模化运行能力。

人工智能训练给我们上了宝贵的一课：计算能力无法脱离网络连接而独立扩展。每一代新一代处理器都会给网络带来相应的挑战，而人工智能每一次向实体经济领域的拓展都会进一步加剧这种挑战。

未来不仅属于那些拥有最大规模GPU集群的人，更属于那些能够将分布式计算、数据和内存资源整合为一个智能系统的人。以太网的下一个篇章将取决于它能否提供使该系统成为可能的、可适应的、可观测的和高弹性的连接。

这是以太网的下一个前沿领域，也是将塑造人工智能持续发展的挑战。

（来源：编译自hpcwired）

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4567期内容，欢迎关注。

加星标⭐️第一时间看推送~

求推荐