英伟达Groq 3 LPX全面投产！

当地时间8月24日，在Hot Chips 2026大会上，英伟达宣布，其Groq 3 LPX交互式AI推理加速系统现已全面投产。作为 Vera Rubin平台的扩展，Groq 3 LPX单机柜配置了256颗Groq 3 LPU，可以通过实现超快速Token生成，为高响应式智能体系统带来AI推理性能的大幅提升。AI云端服务商Nebius成为首家导入Groq 3 LPX的厂商，未来还将与新一代Vera Rubin NVL72结合，导入旗下Token Factory推理平台。

随着AI应用逐渐从模型训练走向推理，特别智能体（Agent AI）时代的来临，对于推理的需求更是爆发式增长。

根据英伟达数据，推理的过程大致可分为Context与Generation两个阶段：Context负责读取长Prompt、大型代码，以及多轮互动中持续累积的Agent状态；Generation则是在理解这些内容后，逐步产生使用者或智能体最终看到并采取行动的Token。

由于智能体完成一项任务可能需要连续进行数十次模型调用，过程中还要反复处理大量上下文及此前累积的任务信息，每一步又依赖前一步的结果，使延迟随工作流程逐步累积，因此更快的Token生成速度对于智能体实时推理、行动和完成复杂任务至关重要。

Groq 3 LPX正是针对长Context与低延迟推论需求设计。单个LPX机柜配置256颗LPU加速器、128 GB芯片上SRAM，以及640 TB/s Scale-up频宽，并采用英伟达MGX机柜构架与全液冷设计，由LPU构架提高AI推理的Token生成速度。

根据第三方AI模型评测机构Artificial Analysis测试，以Gemma 4 31B模型在100K Context条件下运行，Groq 3 LPX输出速度中位数达每秒3,431个Token；在10K Context条件下则达每秒3,382个Token。这也是该模型有史以来最快的性能记录。英伟达还通过SPEED-Bench测试程序开发工作负载，Groq 3 LPX的Token输出速度中位数进一步达每秒4,767个，P80则达每秒5,520个。

英伟达表示，Groq 3 LPX可使编码等智能体任务在数分钟内完成，而非数小时，相比最接近的竞品平台，为智能体和延迟敏感型工作负载提供了4倍更快的响应速度。

值得注意的是，Groq 3 LPX并非取代Vera Rubin NVL72，而是让不同硬件针对AI推理工作进一步分工。

英特尔指出，Groq 3 LPX是专为扩展Vera Rubin的交互性而设计——即单个用户的令牌生成速率，它决定了智能体完成其工作每个步骤的速度。更快的生成为智能体提供了更多时间来检查文件、编写和测试代码、调用工具、验证结果和迭代，同时保持响应的用户体验。

具体来说，两者将采Prefill与Decode分离构架，由Vera Rubin NVL72负责Prefill、处理前段Context并建立KV Cache，再交由Groq 3 LPX执行后续Decode；此外，也能采用Attention与FFN分离、Speculative Decoding等配置，按照不同工作负载分配运算。

“推理是AI的增长引擎。英伟达Grace Blackwell和NVL72以前所未有的性能和效率飞跃，彻底革新了大语言模型推理，”英伟达创始人兼CEO黄仁勋表示。“Vera Rubin将这一愿景延伸至为智能体AI时代设计的工作负载优化型AI工厂配置，通过Croq 3 LPX推进超快速令牌生成的性能前沿。这改变了智能的生产方式，在AI计算需求全球加速之际，实现了AI吞吐量、效率和响应速度的又一次巨大飞跃。”

领先AI云服务商Nebius计划将NVIDIA Groq 3 LPX引入其生产推理平台Nebius Token Factory，使开发者能够访问超快速令牌生成，用于高响应式智能体AI应用。

“生成是决定AI系统实际响应速度的推理阶段，而这正是NVIDIA Groq 3 LPX所加速的，”Nebius首席技术官Danila Shtan表示。“作为首家通过Nebius Token Factory将其投入生产的AI云，我们确保智能体循环的每一步都感觉是即时的——通过开发者已在使用的同一API实现，无需迁移至新堆栈。”

编辑：芯智讯-浪客剑