Vera Rubin只是过渡，AI有另外的终极答案

过去几年，AI算力竞争的核心主要围绕GPU算力展开。随着大模型参数规模不断扩大，训练需求推动高性能GPU成为AI基础设施的核心，算力规模也成为衡量AI能力的重要指标。

但随着大模型从训练走向应用，推理正在成为新的增长方向。相比训练，推理更加关注低延迟、高吞吐和能效，这也推动AI基础设施从单纯追求计算能力，转向优化整个系统的数据流动效率。英伟达Vera Rubin的出现，正是这一趋势下的代表。它不再只是提升GPU性能，而是整合Groq3 LPU推理加速器，并借助互连、网络和存储协同，重新构建面向未来AI的系统架构。

然而，即使通过系统级优化，AI基础设施依然无法完全摆脱电子架构的限制。随着模型规模持续扩大，数据搬运带来的带宽、延迟和功耗压力正在成为新的瓶颈，也推动产业开始寻找下一代计算架构。

Vera Rubin，没绕开的内存墙

要了解Vera Rubin的局限性，就需要从传统的芯片架构说起。

了解芯片行业的读者都知道，现行的主要处理器都是采用存储和计算分离的冯诺依曼架构。而晶体管微缩和架构创新就是提升芯片性能的主要路径。在晶体管还遵循摩尔定律持续微缩的时候，这套方案还是有效的。但随着晶体管尺寸逐渐达到原子极限，芯片从业者被迫去将芯片越做越大。但伴之而来的功耗挑战，成为了行业不得不面对的难题。

更有甚者，过去几十年间，存储带宽的发展逐渐落后于计算算力，冯诺依曼架构天生的“内存墙”瓶颈日益凸显。这种危机在大模型对带宽和算力提出了前所未有的需求的现状下，尤为严峻。

意识到这一点的英伟达正在通过Vera Rubin向大家展现了AI基础设施的系统的演进方法。但一如既往，这种设计的底层依然建立在GPU主导的电子计算架构之上。在这一体系中，GPU负责大规模并行计算，HBM提供高速数据访问，而NVLink等高速互连技术则承担不同计算单元之间的数据交换。

为了缓解计算芯片与存储之间的数据传输压力，英伟达和供应链伙伴也向先进封装寻求“帮助”。以CoWoS为代表的2.5D封装技术，通过将GPU与HBM集成在同一封装内，大幅缩短了计算芯片与高带宽存储之间的距离，提升了数据访问效率。事实上，从Hopper到Blackwell，再到Vera Rubin，先进封装已经成为英伟达持续提升AI芯片性能的重要支撑。

但问题在于，CoWoS解决的是“如何让计算和存储更靠近”，并没有从根本上改变电子信号传输的方式。当AI模型规模不断扩大，GPU需要访问的数据量持续增长，即使通过HBM堆叠和先进封装提升带宽，计算单元与存储之间的数据交换压力依然存在。

尤其是在推理场景下，模型参数、上下文信息以及KV Cache需要频繁读写，数据搬运逐渐成为影响系统效率的关键因素。当数据供给速度无法匹配计算速度时，GPU算力越强，反而越容易受到存储和互连瓶颈的限制。

因此，Vera Rubin代表的是当前AI电子计算架构的一次重要升级，但它也暴露出下一阶段需要突破的问题：先进封装、HBM以及高速互连正在不断逼近电子架构的优化边界。这也让芯片供应商和AI开发者头疼不已。

为了克服电子计算架构的瓶颈，这些年厂商们也盯上了PD分离。

PD分离，权宜之计

所谓PD分离，是Prefill-Decode Disaggregation的缩写。要了解为何这种解决方案会成为大家的选择，就要从大模型的推理流程说起。

在大模型推理过程中，模型服务实际上包含两个截然不同的阶段：Prefill（预填充）阶段和Decode（解码）阶段。其中，Prefill主要负责处理用户输入的上下文信息，需要对大量Token进行并行计算，具有较高的计算强度；而Decode则是在完成上下文理解后，逐个生成输出Token，更加依赖低延迟和高频的数据访问。

然而，传统的大模型推理架构通常采用continuous batching（连续批处理）方式，将Prefill和Decode任务混合调度到同一组GPU资源中。虽然这种方式能够提高GPU利用率，但由于两个阶段的计算特征存在明显差异，也带来了新的问题：Prefill阶段的大规模计算可能会占用大量GPU资源，影响Decode阶段的实时响应；而Decode阶段持续的小规模计算任务，也会干扰Prefill任务的执行效率。

这种资源竞争使得系统很难同时满足大模型服务中的两项关键指标：TTFT（Time To First Token，首Token延迟）和TPOT（Time Per Output Token，生成每个Token之间的间隔）。前者决定用户等待模型首次响应的时间，后者影响连续生成过程中的流畅度，而两者对于计算资源的需求并不完全一致。

因此，PD分离架构逐渐成为一种新的解决方案。该架构将Prefill和Decode两个阶段拆分到不同的GPU资源池中，让两类任务分别进行针对性优化。例如，Prefill集群可以侧重提升批量计算能力，而Decode集群则可以针对低延迟、高带宽访问需求进行优化。

通过这种“计算阶段解耦”的方式，PD分离减少了不同任务之间的资源竞争，提高了GPU资源利用效率，并在满足延迟要求的同时提升系统整体有效吞吐量（Goodput）。随着大模型规模持续扩大以及推理需求快速增长，PD分离正在成为下一代AI基础设施优化的重要方向。

虽然PD分离虽然缓解了Prefill与Decode阶段资源竞争的问题，但也引入了新的系统开销。由于两个阶段部署在不同GPU实例上，Prefill生成的KV Cache需要跨节点传输，网络带宽、缓存管理和调度复杂度成为新的瓶颈。同时，分离式架构也增加了系统部署和资源调度成本，需要在吞吐提升与通信开销之间取得平衡。

行业内也在探索更极致、跨界融合的PD解耦落地形态，近期业内备受关注的多方技术联合方案，便暗藏基于阶段分离、资源分层调度的底层逻辑，为破解传统PD架构的取舍难题提供了全新的解题思路，也让PD分离的技术想象空间进一步被打开。

由此可见，为了破局AI瓶颈，只有彻底改变计算、存储与数据传输之间的关系，突破传统的电芯片桎梏。依托光子并行传输、低损耗的先天特性，光计算芯片具备可观的技术潜力，有望缓解传统电子芯片算力与能耗之间的矛盾，光计算芯片自然而然地走向台前。

光电融合，AI的下一场

我们必须承认，光芯片并不是新故事。其独具的传输速度快、功耗低、支持多路并行计算等核心优势也有目共睹。但长期存在的“实验室技术可验证、量产规模化落地难”产业鸿沟，也是不容忽视。

但如上所述，随着AI逐渐走向以推理为主，传统计算架构在推理阶段存在的海量数据搬移，对存储、芯片带宽要求极高，高带宽带来高成本、高功耗等挑战日益严峻，推动光计算在数据落地刻不容缓。

历经这些年的发展，在光计算领域，全球目前已经演进出两条主流路线，分别是：波导光计算和空间光计算。

据了解，波导光计算采用的是平面光路干涉的方式，光在二维芯片的波导网络（如MZI阵列）中做矩阵乘法。由于这条路线是在硅光体系下演进，能在现有半导体制造业实现了良好的集成。但这种方案还有一个巨大的缺点，那就是随着矩阵规模越大，波导光损耗和通道串扰越严重，难以支持大规模运算。除此以外，尺寸大、热管理困难、误差随网络层数呈指数级累积等天生短板，也成为限制这类光计算演进的短板。

而空间光计算则采用的三维光场调制方式，利用光穿透超表面/空间调制器，在传播中直接完成运算（如傅里叶变换、卷积）。作为真正的空间并行计算技术，空间光计算利用全息或超表面阵列同时处理信息，能突破面积与串扰限制，极度擅长超大规模张量运算与复杂图像/特征提取。而且，因为其工作时光穿过超表面的瞬间即完成计算，单一光运算环节可实现近乎零能耗。

当然，作为一项“新兴”技术，空间光计算也有其局限性，例如精度较低、逻辑控制能力弱、在演进过程中会碰到路径会碰到系统体积相对大、光路对准要求苛刻等难题。但超表面技术正将其快速"芯片化、薄膜化"，叠加上述的种种优势，让空间光计算成为了当前进入爆发前夜的AI推理应用的最佳试验场。

因为拥有参数可固化、计算路径固定、能效极高等特性，空间光计算极度符合推理侧更关注效率与成本的需求。更重要的是，AI工作负载中矩阵向量乘法可能占到80%—90%的计算周期，这正是光计算可以高效处理的部分。

不过，对于AI工作流程中，还存在非线性激活、归一化、数据格式化和系统编排等并不是光芯片所擅长的任务。于是，和全光计算相比，行业更倾向于选择“光电融合”解决方案。在其中，光计算扮演的是加速协处理器的角色，负责大规模并行矩阵运算，并通过PCIe插槽与现有计算系统集成，在不颠覆现有软件栈的前提下，提供数量级的性能提升。而电芯片则负责控制、逻辑和存储等传统任务。

面对这样一个潜力无限的光计算机遇，国内外很多厂商已经投身其中，每刻深思正是其中一个先行者。作为一支承继了清华大学团队在这方面多年研究成果的企业，每刻深思自2020年成立以来就将技术战略全面聚焦于光电融合芯片研发，并在短短几年内完成了从原理探索到系统验证的关键跨越，并打通“空间光计算+通用GPU+大模型算法”的全栈链路，将光电融合技术与阶段解耦的推理架构深度融合，打造出差异化的新一代智算解决方案。

据透露，该公司即将推出的全模拟光电智能计算芯片突破了传统数字芯片的算力瓶颈，性能相比先进的GPU提升了3-4个数量级；延迟方面也降低了2个数量级至纳秒级；带宽也有10倍的提升；能效比更是提升了4个数量级。

虽然光计算芯片大有可为，但无法否认的是，现在大多数厂商还存在传统的路径依赖，这是光芯片落地要直面的第一个挑战。

在落地过程中，光计算芯片还要面对光源、超表面制造、光电对准、模拟电路、算法适配以及良率控制等挑战。此外，精度、规模、灵活性和软件生态等多重挑战，也是光计算芯片应用过程必须克服的难点。

但在应用需求和成本的双重压力推动下，光计算芯片，必然能在算力未来中占领关键的一席之地。