用 Astra+Codex 干掉 CUDA！奥特曼9个月AI造芯反杀英伟达 GB300

作者 | 四月

黄仁勋大概没有料到，刺向英伟达最狠的一刀，正是用自家 GPU 造出来的。而一年前，还在为 DeepSeek-R1 连夜补算子、做适配的国产 AI 芯片团队恐怕也很难想到，一年后软件栈里最棘手的硬骨头，模型竟能自己一把闭环。

昨日凌晨（北京时间），OpenAI 首次公布自研推理芯片 Jalapeño 的实测结果：针对 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 等公开大模型，Jalapeño 同时在吞吐量、延迟等多个指标轻松挑落英伟达当代最强 GB300。

OpenAI 被传要自研芯片已经三年多，但直到两个月前，OpenAI 才联手博通正式发布 Jalapeño，当时只是强调第一代产品每瓦性能将明显高于先进水平。现在，奥特曼进一步把更多技术进展都摆到明面上了。

而关键的杀招还在于，OpenAI动用了自家尚未发布的顶尖旗舰模型 GPT-6（代号 Astra）和 内部加强版的 Codex 下场造芯，带来的效益就是 9 个月完成硬件设计与优化，流片后，3 个月内从零设计出一套完整的底层代码软件栈，实现模型适配和性能优化。这彻底颠覆了传统的芯片研发节奏，直接威胁到英伟达的 CUDA 根基。

过去十年里，无论是 Graphcore、寒武纪还是 Cerebras，无数位“英伟达的挑战者”都倒在了 CUDA 密不透风的软件高墙下。传统的打法，是用人类工程师团队去补建英伟达庞大的生态体系，后者地位牢不可撼。但这次，新一代挑战者换成了大模型——它们不仅在算力上“反噬”宿主，更在重塑芯片设计的产业链条。

所以，黄仁勋的 GPU 神话，真的要就此被改写了吗？

跨越功耗墙：550W 实测跑赢 1400W

芯片行业习惯比拼单芯片的峰值算力，但对于头部模型厂商（尤其是美国模型厂）而言，数据中心的电力已经晋升为更稀缺的资源。因此，Jalapeño 首要瞄准的核心指标是每瓦性能（perf/W）——即在固定的电力预算下，尽可能多地产出 Token。

这一洞察与黄仁勋不谋而合，在今年的台北国际电脑展上他表示：“如果你有 1 吉瓦的电力，那么每瓦吞吐量就意味着收益……仅仅因为芯片更便宜就选择错误的架构是没有意义的。”

但只追求每瓦吞吐还不够。传统推理系统往往面临一个无奈的取舍：要想提高吞吐量，就得增大批处理任务，这必然会导致单用户的生成延迟变长。而当前 AI 应用越来越依赖交互式 Agent，延迟直接决定产品生死。因此 OpenAI 同时给 Jalapeño 设定了另一条硬指标：不能靠增加等待时间换取效率，必须在“高每瓦吞吐”和“极低延迟”之间找到最优解（实现方式可见下文的架构分析）。

图：Jalapeño 芯片

OpenAI 使用 SemiAnalysis 的公开基准测试工具 InferenceX 对 Jalapeño 进行测试，跑分模型涵盖自家 GPT-OSS 120B、DeepSeek R1 670B 以及 Kimi K2.5 1T，对标英伟达 GB200 和 GB300 系统，测试口径为固定的 8K 输入、1K 输出和单 token 预测模式（即一次只生成一个 token 的最朴素方式）。

功耗方面，Jalapeño 额定 700W，实测持续功耗不超过 550W；GB200 的 TDP（热设计功耗）为 1200W，GB300 为 1400W。OpenAI 在统一换算每瓦性能时，按各自公开额定功耗计算。实测下来，Jalapeño 打破了行业惯例——在不到对手一半的实测功耗下，却实现了更高的推理吞吐量和更低的生成延迟。在峰值每瓦吞吐量上，三款模型分别达到对比系统的 1.5 至 1.9 倍，端到端延迟表现也优于对手 1.7 至 3.6 倍。

GB200 运行 GPT‑OSS

GB200 运行 Kimi K2.5

具体到每一款模型，数据更有冲击力：

• 在 GPT-OSS 120B 上（对比 GB200）：Jalapeño 每千瓦最高可处理约 8.54 万个 token/ 秒，GB200 约 4.5 万个，前者约为后者的 1.9 倍。生成速度方面，Jalapeño 连续两个 token 之间的最短时间间隔为 0.69 毫秒，相当于单用户每秒最高生成约 1,459 个 token；GB200 这一数字约为 535 个 token/ 秒。

• 在 DeepSeek R1 670B 上（对比 GB300）：Jalapeño 的峰值每千瓦吞吐量约为 1.96 万 token/ 秒，GB300 约 1.18 万，前者约高 1.7 倍。在低延迟状态下，Jalapeño 单用户生成速度最高约 700 token/ 秒，GB300 约 169 token/ 秒，差距约 4.1 倍。

• 在规模最大的 Kimi K2.5 1T 上（对比 GB300）：Jalapeño 每千瓦峰值吞吐量约 1.82 万 token/ 秒，GB300 约 1.19 万，前者约高 1.5 倍。单用户生成速度上，Jalapeño 最高约 694 token/ 秒，GB300 约 182 token/ 秒，差距约 3.8 倍；最低端到端延迟分别为 1.56 秒和 5.31 秒。

更夸张的数字出现在"等速对比"口径下。如果让 Jalapeño 和对比系统保持相同的单用户生成速度，再比较它们能同时承载多少推理任务，差距会急剧放大。

以 DeepSeek R1 为例，当两套系统都维持在约 169 token/ 秒的单用户生成速度时，Jalapeño 每千瓦可处理约 1.23 万 token/ 秒，而 GB300 仅约 118——按这一口径计算，差距达到约 104.3 倍。在 GPT-OSS 和 Kimi K2.5 上，类似口径的差距分别约为 53.7 倍和 56.1 倍。

AI 造芯流水线：CUDA 护城河如何被绕过？

英伟达下一代 Rubin 芯片流片于 2025 年 10 月，而 Jalapeño 则在 11 月紧随其后。然而，OpenAI 实验室已经跑出了 Jalapeño 的全套基准数据，英伟达却至今未放出等量的 Rubin 数据。全球半导体行研机构 SemiAnalysis 由此判断：“考虑到 OpenAI 能在自家芯片上如此快速地适配新模型，CUDA 的护城河岌岌可危。”

那么，OpenAI 究竟是怎么做到的？

围绕三个层面，OpenAI 打造了一条分工明确的“多模型造芯流水线”：

1. 硬件设计层：GPT-5.6 Sol 优化电路，9 个月完成流片

借助不同阶段的模型，OpenAI 团队从最初设计到完成流片只用了 9 个月。AI 被用于探索实现方案、缩短验证周期，并直接优化了芯片内部的算术电路，使核心计算面积显著缩减。作为对比，传统高性能专用集成电路（ASIC）的研发周期动辄数年。

从披露的架构图来看，Jalapeño 采用了一整块的Compute Die（计算裸片），负责主要 AI 计算；左右各三颗共6 颗 HBM4，为大模型推理提供高带宽内存；顶部单独的一块是I/O Chiplet，主要负责计算芯片与机架内、跨机架网络之间的数据通信。

这也解释了前文提到的，OpenAI 如何同时兼顾“高每瓦吞吐”和“极低延迟”性能。传统 GPU 的内存访问要穿越一套极其复杂的层次结构，延迟大且开销高。Jalapeño 很可能将计算核心与 6 颗最新的 HBM4 内存切分成对应的“切片”。每个核心切片只直连自己的本地 HBM，走极简的低延迟访问路径；切片之间再通过专用高带宽网络同步。

这样的设计可以大幅削减内存子系统的固定开销，让芯片即使在处理小批量、需要极快响应的任务时，也能逼近理论峰值带宽。

1. 软件编译层：Codex + GPT-6（Astra） 接管底层算子，实现手写级调优

Jalapeño 的底层算子并非依赖通用编译器“一键生成”，而是采用接近汇编级的精细调优，部分单个算子代码甚至达到 3000 行。早期这项工作仍由工程师参与，但随后 OpenAI 开始大量使用内部增强版 Codex，让 AI 自动寻找更优的算子实现。

这种能力在 DeepSeek R1 的适配上体现得尤为明显。OpenAI 此前甚至没有现成的 MLA（多头潜在注意力）算子实现，直到决定用 DeepSeek R1 参加 InferenceX 测试后，才临时开始开发。SemiAnalysis 称，Codex 在几乎没有底层算子工程团队介入的情况下，很快就写出了可运行且高效的实现。

OpenAI 还披露，在 GPT-OSS 的部分注意力和混合专家模块中，AI 生成的底层代码比此前人类专家编写的版本快 1.5～1.8 倍。

这也意味着 AI 参与的已经不只是普通代码生成，而是开始进入过去高度依赖资深工程师经验的底层性能优化环节。而回想一年前，DeepSeek-R1 的算子适配还把国产 AI 芯片团队虐得死去活来、熬夜爆肝。

1. 模型移植层：绕开 CUDA 的自研软件栈，实现算法到硬件的直接翻译

OpenAI 还搞了一套自己的编程语言和编译引擎，把芯片设计成一个对人类和 AI 都极其清晰、可预测的编程目标。这彻底绕开了对 CUDA 生态的依赖——开发者不再需要先学 CUDA，再用 CUDA 把模型搬到芯片上，而是让 AI 直接把高层算法翻译成底层硬件配置。

这条 AI 造芯流水线的强大之处在于其自我强化的潜力。一个极具反讽意味的事实是：英伟达自家 GPU 上跑的 GPT 模型，正被 OpenAI 用来设计要取代 CUDA 生态的芯片。随着更多模型被适配，这套软件栈和编译引擎会越来越成熟，AI 的优化能力也会越来越强，形成一个正向循环的飞轮，其速度只会越来越快。

真正的变革才刚开始

当前，算力供给已成为大模型演进的生死线。

这一点毫不夸张。腾讯云 CEO 汤道生在刚发布的内部长文中就表示，腾讯整体算力「严重不足」，已经拖慢混元模型训练和产品发展。于是，模型公司亲自下场造芯、打通“模型 - 软件 - 硬件”垂直壁垒，已从单纯的技术试水跃升为头部公司的核心战略。

从 Anthropic 组建内部芯片团队，并与三星讨论定制 AI 芯片；到国内的 DeepSeek 和智谱，模型公司必须实现算力供给闭环已成共识。这同时也为芯片行业注入了十分活跃的不确定性因子。OpenAI 这颗"辣椒"的启示正在于此：当 AI 介入芯片设计，软硬件协同的迭代速度将被彻底改写。

当模型公司开始掌握芯片技术，当 AI 开始设计工艺和算子，当黄仁勋引以为傲的 CUDA 生态被 AI 编程正面碾压—— 这场关于算力的终极人机博弈，才刚刚拉开序幕。

声明：本文为 AI 前线原创，不代表平台观点，也不构成投资建议，未经许可禁止转载。

会议推荐

QCon 全球软件开发大会·2026（上海站）现已正式启动。本届大会聚焦 Harness AI 时代的工程实践，从「构建 AI」到「驾驭 AI」，围绕 AI Native 架构、Agent Runtime、AI Infra、Agent 安全与可观测、Loop Engineering、具身智能与世界模型等热门技术方向，邀请全球技术社区与产业一线实践者，共同分享 AI Native 时代最具价值的工程经验。

今日荐文

你也「在看」吗？