OpenAI公布首颗自研推理芯片成绩，下一代已进入制造阶段

8 月 25 日，OpenAI 公布了首款自研 AI 推理芯片 Jalapeño 的首批性能测试结果。

当时 OpenAI 只披露了较为概括的早期测试结果，称其第一代加速器每瓦性能将明显高于当时的先进水平。此次更新则首次给出了 Jalapeño 在多款公开大模型上的具体测试数据，包括 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T。

Jalapeño 是 OpenAI 第一款自研推理芯片，主要针对大语言模型推理设计。OpenAI 负责芯片架构设计，博通参与芯片实现、网络和连接技术，Celestica 则负责板卡、机架和系统集成等工作。OpenAI 此前表示，从初始设计到完成流片，Jalapeño 大约用了 9 个月。

为了解 Jalapeño 的实际性能，OpenAI 使用 SemiAnalysis 的公开基准测试工具 InferenceX 对其进行了测试，并将其与英伟达 GB200、GB300 系统进行比较，测试范围涵盖了从高吞吐量服务到高交互性、低延迟的应用场景。

SemiAnalysis 甚至在一份文档中写道：“在我们测试过的所有 Nvidia、AMD 和 Google 芯片上，OpenAI 在多个顶级开源模型上的表现都优于它们。”

从整体结果看，Jalapeño 最突出的特点是，在较低功耗下，同时实现了更高的推理吞吐量和更低的生成延迟。

OpenAI 公布的数据显示，在此次测试的三款模型上，Jalapeño 的峰值每瓦吞吐量是对比系统的 1.5 至 1.9 倍。与此同时，在强调低延迟和单用户生成速度的测试中，其表现也高于对比系统。

以 OpenAI 自己发布的 GPT-OSS 120B 为例，Jalapeño 的对比对象是英伟达 GB200。在峰值吞吐量下，Jalapeño 每千瓦最高可以处理约 8.54 万个 token/s，GB200 约为 4.5 万个，前者约为后者的 1.9 倍。

（来源：OpenAI）

在生成速度方面，Jalapeño 连续两个 token 之间的最短时间间隔为 0.69 毫秒，相当于单个用户每秒最高可以生成约 1,459 个 token；GB200 的这一数字约为 535 个 token/s。

在参数规模更大的 DeepSeek R1 上，OpenAI 将 Jalapeño 与 GB300 进行了比较。Jalapeño 的峰值每千瓦吞吐量约为 1.96 万 token/s，GB300 约为 1.18 万，前者约高 1.7 倍。

在低延迟状态下，Jalapeño 的单用户生成速度最高约为 700 token/s，GB300 约为 169 token/s，前者约为后者的 4.1 倍。

（来源：OpenAI）

测试中最大的模型是拥有约 1 万亿参数的 Kimi K2.5。在这款模型上，Jalapeño 每千瓦峰值吞吐量约为 1.82 万 token/s，GB300 约为 1.19 万，前者约高 1.5 倍。

在单用户生成速度上，Jalapeño 最高约为 694 token/s，GB300 约为 182 token/s，差距约为 3.8 倍。最低端到端延迟分别为 1.56 秒和 5.31 秒。

除了比较各自的最高性能，OpenAI 还给出了另一组测试结果：如果让 Jalapeño 和对比系统保持相同的单用户生成速度，再比较它们可以同时处理多少推理任务，Jalapeño 的吞吐量差距会进一步扩大。

以 DeepSeek R1 为例，当两套系统都维持在约 169 token/s 的单用户生成速度时，Jalapeño 每千瓦可以处理约 1.23 万 token/s，而 GB300 约为 118。按照这一口径计算，Jalapeño 的吞吐量达到 GB300 的约 104 倍。

在 GPT-OSS 120B 和 Kimi K2.5 上，类似测试得到的差距分别约为 53.7 倍和 56.1 倍。

（来源：OpenAI）

不过，这组数字并不意味着 Jalapeño 的芯片计算性能本身比 GB300 高 104 倍。它反映的是，在保持相同单用户生成速度的情况下，Jalapeño 能够同时承载更多推理任务。

功耗是此次测试中另一项重要指标。

Jalapeño 的额定功耗为 700W，此次作为对比的英伟达 GB200 和 GB300 分别按照 1,200W 和 1,400W 计算。OpenAI 表示，在实际测试中，Jalapeño 的持续功耗没有超过 550W，但计算每瓦性能时仍统一按照 700W 的额定功耗进行比较。

SemiAnalysis 此次进入 OpenAI 实验室查看了 Jalapeño，并现场验证了 InferenceX 的运行。目前测试使用的仍是 A0 版工程芯片，下一版 B0 已进入制造阶段。SemiAnalysis 披露，B0 采用台积电 N3P 工艺，MXFP4 理论算力达到 13.4 PFLOPS，额定功耗仍为 700W。

内存方面，Jalapeño 将搭载 HBM4，单封装内存带宽约为 15.4TB/s，并配有独立 I/O 芯片，负责机架内和跨机架通信。

在推理架构上，Jalapeño 由同一套加速器完成 prefill 和 decode 两个阶段，也就是既负责处理用户输入，也负责后续逐个生成 token，而不是分别交给不同类型的芯片。

软件适配方面，此次测试的三款模型并非全部来自 OpenAI。除 GPT-OSS 120B 外，DeepSeek R1 和 Kimi K2.5 均来自外部团队。OpenAI 表示，团队借助 Codex 和 GPT-Astra，在大约两个月内完成了这些模型的移植和优化。

AI 也参与了芯片软件优化。OpenAI 披露，在 GPT-OSS 的部分 attention 和 MoE 模块中，由 AI 生成的 kernel 比此前人工专家编写的版本快 1.5 至 1.8 倍。不过这一提升只针对部分模块，并不代表整个模型获得相同比例的性能提升。

目前，Jalapeño 仍处于正式部署前的生产认证和软件完善阶段。SemiAnalysis 也指出，此次公开的主要性能数据由 OpenAI 提供，虽然其在现场验证了 InferenceX 的运行，但并未独立完成全部测试。

此外，目前公开结果主要来自约 8k 输入、1k 输出的单轮推理场景。对于更长上下文、多轮交互等智能体工作负载，OpenAI 尚未公布测试结果。

按照计划，第一代 Jalapeño 将在 2026 年底前开始部署到 OpenAI 自有计算基础设施中。第二代产品已经进入深入开发阶段，第三代也已开始规划。与此同时，OpenAI 表示，未来仍将继续使用英伟达及其他合作伙伴提供的芯片。

1.https://substack.com/home/post/p-212647373

2.https://openai.com/index/jalapeno-first-results/