网易首页 > 网易号 > 正文 申请入驻

OpenAI公布首颗自研推理芯片成绩,下一代已进入制造阶段

0
分享至


8 月 25 日,OpenAI 公布了首款自研 AI 推理芯片 Jalapeño 的首批性能测试结果。

当时 OpenAI 只披露了较为概括的早期测试结果,称其第一代加速器每瓦性能将明显高于当时的先进水平。此次更新则首次给出了 Jalapeño 在多款公开大模型上的具体测试数据,包括 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T。

Jalapeño 是 OpenAI 第一款自研推理芯片,主要针对大语言模型推理设计。OpenAI 负责芯片架构设计,博通参与芯片实现、网络和连接技术,Celestica 则负责板卡、机架和系统集成等工作。OpenAI 此前表示,从初始设计到完成流片,Jalapeño 大约用了 9 个月。

为了解 Jalapeño 的实际性能,OpenAI 使用 SemiAnalysis 的公开基准测试工具 InferenceX 对其进行了测试,并将其与英伟达 GB200、GB300 系统进行比较,测试范围涵盖了从高吞吐量服务到高交互性、低延迟的应用场景。

SemiAnalysis 甚至在一份文档中写道:“在我们测试过的所有 Nvidia、AMD 和 Google 芯片上,OpenAI 在多个顶级开源模型上的表现都优于它们。”

从整体结果看,Jalapeño 最突出的特点是,在较低功耗下,同时实现了更高的推理吞吐量和更低的生成延迟。

OpenAI 公布的数据显示,在此次测试的三款模型上,Jalapeño 的峰值每瓦吞吐量是对比系统的 1.5 至 1.9 倍。与此同时,在强调低延迟和单用户生成速度的测试中,其表现也高于对比系统。

以 OpenAI 自己发布的 GPT-OSS 120B 为例,Jalapeño 的对比对象是英伟达 GB200。在峰值吞吐量下,Jalapeño 每千瓦最高可以处理约 8.54 万个 token/s,GB200 约为 4.5 万个,前者约为后者的 1.9 倍。


(来源:OpenAI)

在生成速度方面,Jalapeño 连续两个 token 之间的最短时间间隔为 0.69 毫秒,相当于单个用户每秒最高可以生成约 1,459 个 token;GB200 的这一数字约为 535 个 token/s。

在参数规模更大的 DeepSeek R1 上,OpenAI 将 Jalapeño 与 GB300 进行了比较。Jalapeño 的峰值每千瓦吞吐量约为 1.96 万 token/s,GB300 约为 1.18 万,前者约高 1.7 倍。

在低延迟状态下,Jalapeño 的单用户生成速度最高约为 700 token/s,GB300 约为 169 token/s,前者约为后者的 4.1 倍。


(来源:OpenAI)

测试中最大的模型是拥有约 1 万亿参数的 Kimi K2.5。在这款模型上,Jalapeño 每千瓦峰值吞吐量约为 1.82 万 token/s,GB300 约为 1.19 万,前者约高 1.5 倍。

在单用户生成速度上,Jalapeño 最高约为 694 token/s,GB300 约为 182 token/s,差距约为 3.8 倍。最低端到端延迟分别为 1.56 秒和 5.31 秒。

除了比较各自的最高性能,OpenAI 还给出了另一组测试结果:如果让 Jalapeño 和对比系统保持相同的单用户生成速度,再比较它们可以同时处理多少推理任务,Jalapeño 的吞吐量差距会进一步扩大。

以 DeepSeek R1 为例,当两套系统都维持在约 169 token/s 的单用户生成速度时,Jalapeño 每千瓦可以处理约 1.23 万 token/s,而 GB300 约为 118。按照这一口径计算,Jalapeño 的吞吐量达到 GB300 的约 104 倍。

在 GPT-OSS 120B 和 Kimi K2.5 上,类似测试得到的差距分别约为 53.7 倍和 56.1 倍。


(来源:OpenAI)

不过,这组数字并不意味着 Jalapeño 的芯片计算性能本身比 GB300 高 104 倍。它反映的是,在保持相同单用户生成速度的情况下,Jalapeño 能够同时承载更多推理任务。

功耗是此次测试中另一项重要指标。

Jalapeño 的额定功耗为 700W,此次作为对比的英伟达 GB200 和 GB300 分别按照 1,200W 和 1,400W 计算。OpenAI 表示,在实际测试中,Jalapeño 的持续功耗没有超过 550W,但计算每瓦性能时仍统一按照 700W 的额定功耗进行比较。

SemiAnalysis 此次进入 OpenAI 实验室查看了 Jalapeño,并现场验证了 InferenceX 的运行。目前测试使用的仍是 A0 版工程芯片,下一版 B0 已进入制造阶段。SemiAnalysis 披露,B0 采用台积电 N3P 工艺,MXFP4 理论算力达到 13.4 PFLOPS,额定功耗仍为 700W。

内存方面,Jalapeño 将搭载 HBM4,单封装内存带宽约为 15.4TB/s,并配有独立 I/O 芯片,负责机架内和跨机架通信。

在推理架构上,Jalapeño 由同一套加速器完成 prefill 和 decode 两个阶段,也就是既负责处理用户输入,也负责后续逐个生成 token,而不是分别交给不同类型的芯片。

软件适配方面,此次测试的三款模型并非全部来自 OpenAI。除 GPT-OSS 120B 外,DeepSeek R1 和 Kimi K2.5 均来自外部团队。OpenAI 表示,团队借助 Codex 和 GPT-Astra,在大约两个月内完成了这些模型的移植和优化。

AI 也参与了芯片软件优化。OpenAI 披露,在 GPT-OSS 的部分 attention 和 MoE 模块中,由 AI 生成的 kernel 比此前人工专家编写的版本快 1.5 至 1.8 倍。不过这一提升只针对部分模块,并不代表整个模型获得相同比例的性能提升。

目前,Jalapeño 仍处于正式部署前的生产认证和软件完善阶段。SemiAnalysis 也指出,此次公开的主要性能数据由 OpenAI 提供,虽然其在现场验证了 InferenceX 的运行,但并未独立完成全部测试。

此外,目前公开结果主要来自约 8k 输入、1k 输出的单轮推理场景。对于更长上下文、多轮交互等智能体工作负载,OpenAI 尚未公布测试结果。

按照计划,第一代 Jalapeño 将在 2026 年底前开始部署到 OpenAI 自有计算基础设施中。第二代产品已经进入深入开发阶段,第三代也已开始规划。与此同时,OpenAI 表示,未来仍将继续使用英伟达及其他合作伙伴提供的芯片。

1.https://substack.com/home/post/p-212647373

2.https://openai.com/index/jalapeno-first-results/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普晒30多张深圳行照片 真诚交流自然留回味

特朗普晒30多张深圳行照片 真诚交流自然留回味

看看新闻Knews
2026-11-23 00:18:49
许家印在看守所的待遇

许家印在看守所的待遇

年代回忆
2026-10-22 23:21:45
孙宇晨嘲讽刘强东翻车:500人凭什么踩90万人,人效低不是原罪

孙宇晨嘲讽刘强东翻车:500人凭什么踩90万人,人效低不是原罪

华文商讯
2026-11-21 08:54:08
搞不好会烂尾!《持械入宋》的问题来了,十二季上线又延迟,到底被什么卡住了?

搞不好会烂尾!《持械入宋》的问题来了,十二季上线又延迟,到底被什么卡住了?

姜糖先生
2026-11-22 15:59:24
央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

拾玖Talk
2026-11-19 19:11:01
超四成中低风险产品净值回撤 理财公司密集发声

超四成中低风险产品净值回撤 理财公司密集发声

每日经济新闻
2026-11-22 22:20:01
TA记者:迈阿密国际纪律性差得令人难以置信

TA记者:迈阿密国际纪律性差得令人难以置信

懂球帝
2026-11-22 09:29:07
消息人士:乌克兰远程打击停泊在利比亚的俄罗斯军舰

消息人士:乌克兰远程打击停泊在利比亚的俄罗斯军舰

极目新闻
2026-11-22 23:40:11
双红会0-4惨败,波切蒂诺执教曼联首秀遭遇开门黑

双红会0-4惨败,波切蒂诺执教曼联首秀遭遇开门黑

懂球帝
2026-11-23 02:31:10
以泪洗面!西安股民晒351万资产周六彻夜失眠,11月狂亏121万近乎腰斩,单日跌超20万自嘲“金融消费者”

以泪洗面!西安股民晒351万资产周六彻夜失眠,11月狂亏121万近乎腰斩,单日跌超20万自嘲“金融消费者”

王老师你还好吗
2026-11-22 17:35:20
大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

华人星光
2026-11-19 13:45:11
马斯克太聪明了。这次来中国,怕大家骂他比黄仁勋还花心,于是又带着小儿子来,一开口就说:“我儿子的玩具都是中国制造”

马斯克太聪明了。这次来中国,怕大家骂他比黄仁勋还花心,于是又带着小儿子来,一开口就说:“我儿子的玩具都是中国制造”

背包旅行
2026-11-22 21:37:00
逐渐“消失”的主持人孟非,近况变化出人意料,已经走上另一条路

逐渐“消失”的主持人孟非,近况变化出人意料,已经走上另一条路

吃青菜长高
2026-11-22 18:37:19
新一届江西省委领导班子亮相

新一届江西省委领导班子亮相

农民日报
2026-11-22 18:27:58
印度小伙来中国,与中国姑娘交往2个月被踹,姑娘:我现在全身病

印度小伙来中国,与中国姑娘交往2个月被踹,姑娘:我现在全身病

悬案解密档案
2025-05-21 10:46:02
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
50分11篮板7助攻仍输球,恩比德赛后称他联盟前五

50分11篮板7助攻仍输球,恩比德赛后称他联盟前五

绿茵狂热者
2026-11-23 01:10:49
昨晚,前夫借故来看孩子,一见面就迫不及待进入正题,我推不开他

昨晚,前夫借故来看孩子,一见面就迫不及待进入正题,我推不开他

第7情感
2025-09-14 11:33:27
又一个“邓文迪”!27岁博士毕业,4年生3娃,替世界首富花钱

又一个“邓文迪”!27岁博士毕业,4年生3娃,替世界首富花钱

流云随风去远方
2026-11-22 19:28:58
丰台站开通一年到发4000万人次,日均12万却不到南站一半,问题出在哪

丰台站开通一年到发4000万人次,日均12万却不到南站一半,问题出在哪

白浅娱乐聊
2026-11-22 15:33:35
2026-11-23 03:12:49
问芯 incentive-icons
问芯
访遍天下芯事,聆听大时代人物芯声
249文章数 34关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
游戏
本地
亲子
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

PC Gamer试玩GTA6百小时:双主角出色但任务重复

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版