用开放智能体工厂和大规模分布式推理降低AI芯片设计成本

随着AI系统能力日益增强，研究人员越来越多地思考一个实际问题：AI能否超越辅助编写计算系统代码的范畴？具体而言，AI能否主动参与复杂计算系统的设计，并快速将算法转化为芯片？AI驱动芯片设计领域的最新研究表明，答案是肯定的。但一个有前景的算法只是硬件设计的起点。将其转化为高效芯片，需要探索如何组织计算、移动数据以及利用有限的硬件资源。每一个选择都会带来新的替代方案，而每个替代方案的实现与评估都需要投入工程努力。

AI智能体可以扩展这一探索过程。多个智能体协同工作，可以提出架构改动方案、编写实现代码、检查正确性，并利用综合结果决定下一步尝试方向。障碍在于成本：面向硬件设计的大语言模型Token经济学，以及设计空间探索的成本效益问题。一次搜索任务可能消耗数亿个Token，而将该方法应用到众多组件和设计迭代中，可能需要数百次这样的搜索任务。

IBM研究院的一项新演示展示了开放前沿模型与高效分布式推理如何改变这一成本计算方式。研究人员利用一个智能体工厂来优化量子纠错硬件，在高层次综合（HLS）评估中实现了相比基线设计52倍的速度提升，推理成本约为26美元。在相同的搜索预算下，全程使用专有前沿模型的配置成本为299美元，是全程使用开放前沿模型配置（26美元）的11.5倍。专有配置实现了更高的加速比（204倍），但开放模型配置证明了另一个重要结果：在更小的推理预算内，同样可以实现可观的硬件优化，并且得到了面积最小的设计方案。

这种成本优势为更广泛地应用自动化探索创造了机会，同时也能将节省下来的成本重新投入到寻找更优设计中。

研究结果还表明，AI辅助芯片设计的实际价值不仅取决于智能体所能产生的最佳设计方案，还取决于一个组织能够负担多少经过验证的探索工作。模型能力、智能体角色分配，以及服务这些模型的基础设施，共同决定了在真实工程预算内所能实现的硬件改进程度。通过将开放前沿模型与llm-d的低成本分布式推理相结合，IBM证明了AI智能体工厂能够超越代码辅助的范畴，成为硬件设计的积极参与者，而且能够以可负担的成本做到这一点。

从生成代码到探索架构

硬件设计仍然是计算领域中最依赖专业知识的工作之一。高层次综合（HLS）将硬件设计的抽象层级从硬件描述语言所使用的寄存器传输级（RTL）提升到了C或C++层面，但工程师仍须就循环结构、并行性、内存组织、数据流以及综合指令做出无数决策。这些选择之间存在复杂的相互影响。例如，同时执行更多计算只有在内存系统能够及时供应输入数据的情况下才有意义。运行速度更快的设计也可能需要更多的硬件资源。要找到一个有效的平衡点，需要反复进行实验，而设计空间很快就会变得过于庞大，人工难以穷尽探索。

“智能体工厂”能够组织这项工作。IBM院士兼IBM研究院首席科学家鲁奇尔·普里表示：“智能体工厂将硬件优化转变为一个协调一致的探索循环：协调智能体指挥多个并行的工作智能体，在设定的搜索预算内开发并综合不同的候选设计。”

当这些智能体被赋予任务后，它们会独立探索优化策略。普里补充道：“验证器会检查所提出的改进方案是否有效，设计方案会按延迟和硬件资源使用情况进行排名。这些结果会指导下一轮探索，使工厂能够在发现更优设计的过程中不断优化搜索方向。”这种工厂并非寻找单一解决方案，而是并行调研众多可能性，利用综合反馈指导后续探索。

在这项新研究中，协调智能体负责规划搜索方案，并将优化假设分配给四个并行工作智能体。工作智能体对解码器实现进行修改，正确性检查和HLS结果则为后续轮次提供反馈。每种配置均获得了100个假设的预算。

智能体探索的改动具有架构层面的影响。其中一项变换重新组织了消息存储方式，使综合工具能够识别独立的内存访问并执行更多并行工作。另一项变换用树状结构替代了顺序归约，从而暴露出可并行计算的部分。这项工作的价值在于通过反复评估，将代码改动与其硬件效果关联起来。

量子计算核心的经典硬件难题

这篇新论文探讨的关键问题是：这种方法能否利用开放前沿模型和分布式推理基础设施以具有成本效益的方式进行规模化应用。为评估这一想法，普里及其团队以Relay-BP（一种针对[[144,12,12]]双变量自行车码的量子纠错解码算法）为例演示了该方法。

量子纠错依赖于经典计算。测量结果提供了有关量子信息所受错误影响的线索，解码器必须解读这些线索并推断出纠正方案。在实际硬件资源限制范围内快速完成这一任务，是构建容错量子系统的关键环节之一。

Relay-BP是一个很有价值的测试案例，因为其重复的消息传递过程本质上具有并行性，但基线实现中的稀疏图表示方式和内存访问模式，使得HLS工具难以利用这种并行性。

这也使得该解码器成为检验AI驱动硬件探索能力的一项严苛测试，因为智能体必须在改变硬件执行方式的同时，保持计算结果的正确性。

同等搜索预算下能换来什么

研究人员在相同的100假设预算下比较了三种配置：协调智能体和工作智能体均使用专有前沿模型，均使用开放前沿模型，以及协调智能体使用专有模型、工作智能体使用开放模型的混合配置。开放模型通过llm-d在本地部署运行。

三种配置均发现了经过验证的硬件改进方案，但产生了不同的权衡结果。开放模型配置和混合配置找到了实用的紧凑设计方案，而专有模型配置则更有效地将额外资源转化为并行性和更低的延迟。由于每种配置仅进行了一次搜索运行，这些结果反映的是所观察到的具体搜索过程，而非确立某种普遍适用的模型排名。

全开放模型搜索使用的Token数量也更多：约为2.41亿个，而全专有模型搜索约为2.16亿个。其成本更低的原因在于这些Token的服务经济性。这一区别对智能体工厂而言十分重要，因为每个假设都可能涉及多轮推理、编码、调试以及对工具结果的解读。

推理基础设施为何重要

智能体工厂会反复调用大量相同的信息：源代码、设计约束、先前的改动记录以及综合报告。高效的服务系统可以复用与这些共享上下文相关的计算结果。

该研究使用了开源分布式推理框架llm-d来支持这一工作负载。其缓存感知路由机制会将请求引导至持有可复用上下文的服务器。该框架还将提示处理与Token生成分离开来，使系统能够独立分配各自所需的资源。这些能力有助于减少重复计算，并高效利用加速器算力。

随着企业寻求控制不断上升的推理成本并保持对敏感数据的掌控，这次最新演示表明，通过llm-d分布式推理堆栈在本地部署的开放权重模型，能够大幅降低服务成本，同时依然能够发现有价值的硬件优化方案。

就芯片设计这一工作负载而言，论文报告称前缀缓存命中率约为98%，综合服务成本约为每百万Token 0.11美元。该部署在共享基础设施上，与其他智能体工作负载共同为工厂提供服务。开放权重还使团队能够在本地运行模型，并保留对这些智能体所处理设计成果的控制权。

因此，这种成本优势反映的是开放模型与高效服务系统相结合所带来的结果。两者共同促成了可持续探索的可负担性。

接下来：将更低成本转化为更优设计

更低的推理成本为增加搜索量创造了空间，但支出的增加并不会自动带来成比例的改进。将全开放模型的搜索规模从100个假设扩展到200个假设，使其加速比从52倍提升到60倍。收益仍在增长，但增幅正在递减。

下一步工作是改进智能体工厂利用这部分额外预算的方式。未来的研究将探索资源的自适应分配、更广泛的架构假设范围，以及针对困难变换或搜索协调任务有选择地使用更强大的模型。目标是审慎地权衡成本与质量之间的取舍：判断在何处投入额外的推理能力、更换模型，或采用新的架构方向最有可能改善设计效果。

评估工作还需要将综合与验证成本与推理成本一并纳入考量。当整个流程能够支撑起由此带来的更多探索空间时，降低其中某一环节的成本才最具价值。

AI芯片设计将两种形式的进步连接成一种相互促进的关系：更优的硬件能够支撑更强大的AI，而更强大的AI又能帮助工程师开发出更优的硬件。具有成本效益的智能体工厂让这种关系变得更加切实可行。通过降低每次搜索的成本，开放模型与分布式推理为测试更多创意提供了空间，并借助更优的搜索策略，将这一机遇转化为更出色的芯片。

Q&A

Q1：IBM的智能体工厂在芯片设计中具体做了什么？

A：IBM研究院利用智能体工厂来优化量子纠错硬件设计，通过协调智能体指挥多个并行工作智能体开发并综合候选设计，最终在高层次综合评估中实现了相比基线设计52倍的速度提升，推理成本约为26美元。

Q2：使用开放模型和专有模型进行芯片设计，成本差异有多大？

A：在相同的100假设搜索预算下，全程使用专有前沿模型的成本为299美元，而全程使用开放前沿模型的成本仅为26美元，成本差距达11.5倍。专有模型配置实现了更高的204倍加速比，但开放模型配置证明了用更小预算也能实现可观的硬件优化。

Q3：llm-d在这项芯片设计研究中起到什么作用？

A：llm-d是一个开源分布式推理框架，通过缓存感知路由将请求引导至持有可复用上下文的服务器，并将提示处理与Token生成分离，从而减少重复计算、提升加速器利用效率，使该研究实现了约98%的前缀缓存命中率和每百万Token约0.11美元的低成本服务。