网易首页 > 网易号 > 正文 申请入驻

Claude自写推理引擎!等AI回第一个字,12秒砍到半秒

0
分享至


新智元报道


你让AI帮忙修一个登录报错。

照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。

你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。

修一个bug,往往要这样来回折腾几轮。

每次提交问题后,你要等多久,才能看到AI回的第一个字?

最近,有人拿真实编程会话做了个测试,Claude直接把这段干等的时间从约12秒缩短到了半秒。

11月12日,卡内基梅隆大学、NVIDIA等机构的研究者提交了《奇点基准测试:智能体能构建智能体吗?》《Singularity-Bench: Can Agents Build Agents?》预印本。


其中一道题,研究者给了Claude Opus 5.5一份基础服务器代码、4张GB300显卡和12小时。

做题时,开发环境限制了上网查资料。Claude要用Claude Code写一套推理引擎,负责接收用户请求、调度显卡运行模型,再把生成的回复发回去。

引擎写完后,研究者没有只看代码,而是直接用真实编程会话检验它的表现。

他们让两套引擎分别用4张GB300运行同一个模型,回放同一批16路并发的真实编程会话。

衡量的指标叫P90首token延迟:

把所有请求从发出到模型开始回复的等待时间排个序,排在第90百分位的时间,就是P90。换句话说,90%的请求都能在这个时间内开始回复。

结果,成熟引擎SGLang(v0.5.20)用了约12秒,Claude写的引擎只用了0.48秒。


相同硬件和模型条件下,Claude自研推理引擎的P90首token延迟为0.478秒,SGLang为12.029秒。

等12秒,你可能已经切回编辑器,顺着报错翻了几行代码。半秒呢?你刚敲完回车,对话框里就能看到AI回复的第一个字。

一旦开始回复,两套引擎的生成速度几乎一样:按中位数算,Claude写的引擎每秒生成124.2个token,SGLang是125.0个。

那AI开口前的这11秒半,Claude到底是怎么省下来的?

只改一句话

服务器还要读多少

假设你正用AI改网页。

前面贴过源码和报错,也试过好几版方案。这一轮,你只补了一句「把登录按钮往右挪一点」。

在论文回放的编程会话里,前几轮的聊天记录也会一起送到服务器。16路会话同时跑,单次输入的中位数是8.9万个token。

模型得先处理输入,才能开始回复:这一步叫「预填充」。

如果新一轮请求的开头和上一轮一样,引擎可以调出之前算好的结果,接着处理新添的内容,这就是「前缀缓存」。

这里的「算好的结果」,就是模型读完那段前文时留下的计算记录。这次测试用的模型会留下两份。

一份保留前文的信息,方便模型回头查;另一份像账本上的余额,模型每多读一点,余额就更新一次。

Claude写的引擎会把同一段前文对应的两份记录一起存下来。下次遇到相同的开头,引擎就能从那段前文的末尾接着读,只算后面新添的内容。

SGLang也用了前缀缓存,两套引擎的缓存命中率都在96%左右。

16路请求同时过来时,没命中缓存的内容还要交给显卡处理。

每条请求剩下的计算量有多少,显卡先处理哪一条,也关系到你多久能看到AI回复的第一个字。


Claude自研推理引擎与SGLang的性能对比。两者缓存命中率和生成速度接近,但Claude引擎的P90首token延迟明显更低。

剩下的活儿越少

排得越靠前

想象一下超市结账的场景:

排在你前头的顾客推着满满一平板车年货,几万个全新token等着从头扫码。

而你站在后面,手里只攥着一瓶矿泉水——也就是在老会话里追问了一句话,九成六的前文都有现成缓存。

在并发推理局里死守「先来后到」,等于让买一瓶水的人替整车年货罚站。

因此,Claude给推理引擎定下了一条排队规矩:

谁剩下的计算量少,就先处理谁。

遇到好几万token的全新大单,引擎还会把它切成小块分批消化,绝不让一个大任务把整条车道堵死。

这样一来,你在旧对话里补的那句追问,就有机会绕过长请求的等待,优先得到处理。

生成阶段,引擎还叠加了「投机解码」:

模型自带的轻量预测层先猜一个token,主模型随后核验。猜对了,就直接采用预测结果;猜错了,就丢弃预测,按主模型的结果继续生成。

与此同时,引擎还把原本零散执行的GPU操作打包合并,减少不必要的调度和数据搬运。

即便SGLang也启用了前缀缓存和投机解码,Claude写的引擎在输入处理和请求调度上仍然占优:平均到每张GPU每秒,它能多处理19%的未缓存token。


横轴为P90首token延迟,纵轴为每GPU秒处理的未缓存token数。Claude自研引擎在降低首token等待时间的同时,也提高了未缓存输入的处理效率。

在相同的回放时限内,SGLang完成了705个请求,Claude写的引擎则完成了983个,多处理了近四成。

再按预设的输入、输出单价给完成的请求折算「模拟收入」,Claude引擎每GPU小时的产出从SGLang的8.18美元提高到11.52美元,增长40.8%。

开发者能更早看到AI回复,同样的显卡也能在同一段时间里处理完更多请求。

当然,真实工作场景中向来只认交付结果:跑得飞快却满嘴胡话,那叫高速翻车。

研究者在交卷时设了两道硬门槛:一是在并发负载下,必须完整生成规定长度的回复;二是通过隐藏测试的准确率验收。

参测的11套AI自研引擎里,最终只有5套同时闯过这两关;另外6套要么半路吞字断句,要么准确率崩盘,按规则当场判了零分。


11组AI搭基建

Claude五胜一平

手搓推理引擎,只是Singularity-Bench六道考题中的一道。

研究团队把造AI的核心苦活拆成了六场独立闭卷考:三道考训练(从头预训练、中期训练挑数据、后训练强化学习写代码),另外三道考基建(推理引擎、智能体运行框架、显卡集群调度)。


研究团队将AI研发划分为训练、部署和应用三个阶段,设置六项任务,测试智能体能否独立优化AI研发流程。

由7个主流模型与Claude Code、Codex两套运行框架组合出的11支AI队伍,全程断网领起始代码、按倒计时交卷,在完全相同的硬件上单挑人类打磨多年的成熟方案。

除了推理大胜,Claude Opus 5.5搭配Claude Code还在另外四道题上赢过了人类基线。

拿到预训练考卷(4张GB300、12小时),Claude没有急着开训,而是先花44分钟测试显卡性能,再根据测试结果确定模型规模。直到第44分钟,它才启动训练。

最终,Claude只用了约一半的训练计算量,就在验证集上取得12.77的困惑度,优于人类基线(OLMo 2 1B搭配Megatron-LM)的14.22。

到了中期训练(4张GB300、12小时),考题换成了给已有模型挑选下一批「教材」,再用同一套强化学习任务检验训练效果,考察模型在数学、代码和科学领域的表现。

Claude主要挑选解题过程完整、答案经过核验的数据。最终,它的方案将下游平均准确率从人类PRISM配方的17.5%提高到31.9%,接近翻倍。

智能体运行框架(1张GB300、6小时)最具戏剧性:这道题考的是模型什么时候调用工具、出错后怎么查看日志,而人类对照组恰恰是原版Claude Code。

结果,Claude自己给自己动了场手术,把下游平均分从0.438提高到0.468。在同一批测试中,新框架比原版Claude Code多修好了一个bug。

集群调度(16张GB300、4小时)则要用16张卡同时伺候28个模型的服务请求。

Claude实测发现,部分引擎共用显卡时会争抢资源、互相拖慢,于是调整调度策略,让它们轮流使用GPU。

最终,它在延迟达标率和请求完成率两项指标上综合拿下0.510分,超过NVIDIA Dynamo搭配KAI Scheduler的0.460分。

连自己的框架都能改,还能在集群调度测试中超过NVIDIA的方案,Claude这次把工程能力秀出来了。

唯一没分出胜负的是后训练(4张GB300、12小时)。

Claude通过强化学习提升给定模型的编程能力,最终解题率为53.3%,人类对照方案Miles为53.9%。逐题比较,双方各有18道题只有自己解出,论文据此判为平手。

六项成绩等权汇总,以人类基线1分为参照,Opus 5.5搭配Claude Code以「五胜一平」拿下1.252分,成为唯一超过人类基线的组合。第二名GPT-6.1 Sol搭配Codex得0.969分,其余10组平均只有0.58分。

总榜还揭示了另一点:模型大脑决定能力上限,运行框架决定本事能发挥多少。

同一款开源模型,搭配Codex得0.228分,换成Claude Code涨到0.657分,接近原来的3倍。另一款模型却恰好相反,搭配Codex得0.698分,换成Claude Code反而跌至0.520分。

这说明模型够强还不够,框架没选对,照样可能发挥失常。

拿下总榜第一,Claude光调用API花了多少钱?

仅开发阶段的API调用,Opus 5.5就花了425.41美元,高于前代Opus 5的328.19美元,约是第二名GPT-6.1 Sol(84.52美元)的5倍。GPU和下游评测开销另计。

下一道题

让AI自己改进整体研发线

训模型、挑数据、写引擎、管显卡,AI已经在多项任务上超过人类基线。

这是否意味着「AI自己迭代下一代AI」已经实现了?还不能这么说。

这六道题本质上还是人类划好范围、AI分别作答。

后训练优化的是给定模型,推理引擎服务的是另一款现成模型。每道题从什么代码起步、优化什么指标、给多少时间和算力,都由人类提前设定。

论文作者也承认,要真正检验递归自我改进(RSI),还需要更多时间和算力。

造好一个零件和自己改进整条生产线,完全是两回事。

真正的考验是,AI能不能自己找出研发流程中最拖后腿的环节,比如训练太慢、数据选得不对,还是强化学习总在等待推理结果?

找到瓶颈后,它还得决定从哪里下手,再把改进放回整条研发流程中验证。

最终,不仅要看省下了多少算力和时间,还要看训练出来的下一代模型是不是真的变强了。

更进一步,下一代模型还要能接过上一代的工作,继续发现问题、改进流程,交出经得起复测的新成果。

当AI能自己找瓶颈、改流程、训练出更强的下一代模型,并让这一过程不断延续,递归自我改进才算真正开始。

今天,这项研究测的是AI能否让一次回复少等11秒;未来真正值得关注的,是AI能否独立完成一次跨代升级,以及这需要多长时间。

参考资料:

https://x.com/rohanpaul_ai/status/2121330917801431326

https://arxiv.org/abs/2611.16591

https://infini-ai-lab.github.io/singularity-bench/

编辑:元宇


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
山东卫视曝光!蛋糕作坊生产卫生令人堪忧,日销 6000 单发往全国

山东卫视曝光!蛋糕作坊生产卫生令人堪忧,日销 6000 单发往全国

今墨缘
2026-11-19 07:18:04
万万想不到,高举反华大旗的高市早苗,竟然把孙子送到中国留学!

万万想不到,高举反华大旗的高市早苗,竟然把孙子送到中国留学!

墨印斋
2026-06-06 14:41:27
你读过回报率最高的一本书是哪本?网友:从此再也没抑郁过!

你读过回报率最高的一本书是哪本?网友:从此再也没抑郁过!

另子维爱读史
2026-09-11 22:49:25
“小超人”李泽楷,创了一个世界纪录

“小超人”李泽楷,创了一个世界纪录

潮州玩家
2026-11-20 01:26:33
男子在浙江一商场用餐时肚子突然变大,却以为是中暑,饭店女员工三句话,抢回一条命!医生:再晚半小时人就没了

男子在浙江一商场用餐时肚子突然变大,却以为是中暑,饭店女员工三句话,抢回一条命!医生:再晚半小时人就没了

环球网资讯
2026-07-25 09:42:32
两性关系:男人要知道,女人无论多大年纪,一生只贪这6样

两性关系:男人要知道,女人无论多大年纪,一生只贪这6样

风起见你
2026-09-22 09:20:57
“我只是毕业了,可我还是你们的孩子呀!”男大学生的深夜倾诉,网友:别把家里的最后一根弦,变成压垮他的稻草

“我只是毕业了,可我还是你们的孩子呀!”男大学生的深夜倾诉,网友:别把家里的最后一根弦,变成压垮他的稻草

蝴蝶花雨话教育
2026-11-19 07:45:57
黄仁勋辞职前跑路的投资人

黄仁勋辞职前跑路的投资人

远川聊资管
2026-11-19 22:37:33
黄酒为啥成不了主流?原以为能有共鸣,谁料评论一边倒

黄酒为啥成不了主流?原以为能有共鸣,谁料评论一边倒

夜深爱杂谈
2026-10-24 20:18:23
杨紫、李现、肖战、张若昀、成毅、赵丽颖、星光L

杨紫、李现、肖战、张若昀、成毅、赵丽颖、星光L

青杉依旧啊啊
2026-11-19 07:57:12
2022 年伊丽莎白二世视线严重受损近乎失明,强忍不适撑着站好,女王生命尽头那四十八小时,藏着一场排练了六十年的告别

2022 年伊丽莎白二世视线严重受损近乎失明,强忍不适撑着站好,女王生命尽头那四十八小时,藏着一场排练了六十年的告别

磊子讲史
2026-11-11 11:34:02
为什么,全世界现在只有中国拥有氢弹?我国这位科学家的贡献巨大

为什么,全世界现在只有中国拥有氢弹?我国这位科学家的贡献巨大

文史达观
2025-05-18 06:45:03
亚洲最富有的10个国家,都是谁?中国在亚洲排名第几?

亚洲最富有的10个国家,都是谁?中国在亚洲排名第几?

七号说三国
2026-11-16 17:30:56
杭州女子驾车过高架遭风筝线“割顶”,最新:肇事者已找到

杭州女子驾车过高架遭风筝线“割顶”,最新:肇事者已找到

扬子晚报
2026-11-19 20:29:47
被姐姐觊觎财产?马天宇崩溃失望,人性的现实和丑陋具象化了

被姐姐觊觎财产?马天宇崩溃失望,人性的现实和丑陋具象化了

猪小艳吖
2026-11-19 23:58:34
开始清算!闹剧根源浮出水面,体育总局跨出更狠一步,别被当枪使

开始清算!闹剧根源浮出水面,体育总局跨出更狠一步,别被当枪使

石场阿鑫
2026-10-13 19:56:47
我家有两个闺女,一个学渣,一个学霸,学渣如今却比学霸过的更好

我家有两个闺女,一个学渣,一个学霸,学渣如今却比学霸过的更好

千秋文化
2026-11-19 20:26:05
烤全羊又进化了,整头只剩一两肉

烤全羊又进化了,整头只剩一两肉

远方青木
2026-11-20 01:22:07
离称霸,字节只差一个聊天软件了!

离称霸,字节只差一个聊天软件了!

城事堂
2026-11-17 14:09:44
张曦雯承认吴卓羲正在追求自己!预告台庆颁奖礼将会再见到家长

张曦雯承认吴卓羲正在追求自己!预告台庆颁奖礼将会再见到家长

手工制作阿歼
2026-11-19 12:56:58
2026-11-20 02:35:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16722文章数 67240关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

游戏
房产
艺术
健康
旅游

《GTA6》智能手机太强太沉浸!R星官方解释原因

房产要闻

2.5亿!丁村侨中,新动作来了!

艺术要闻

柔美与锋芒:时尚人像摄影

医生眼里"很伤腰"的椅子,很多人天天坐

旅游要闻

深圳游客打卡山城!重庆文旅集团秋假专属礼包获好评,大家感叹不虚此行

无障碍浏览 进入关怀版