网易首页 > 网易号 > 正文 申请入驻

同一个模型,只换Agent框架,成本差11.7倍,得分只差1.4个点:我翻完28,849次试验的榜单,发现Claude Code一直在跟100行Python打平

0
分享至

我先把账单摆出来。

在GLM-5.3-Flash上,Pi解决一个任务平均花$0.29,OpenCode花$3.35。差了11.7倍。换到Claude Code,它的单次试验成本接近mini-SWE-agent的两倍,超过OpenCode的三倍。

但得分呢?在447个SWE-bench Verified任务上,Claude Code和mini-SWE-agent的差距只有两个百分点,研究者判定为统计等价。mini-SWE-agent是什么东西?大约100行Python,只暴露一个bash工具,没有上下文压缩机制。

也就是说,你为一个“大厂框架”付的钱,买到的主要是开场白,不是能力。

Harness Leaderboard的数据更直白。28,849次试验、9个harness、3个开放模型,换一个harness,每100个任务里有29.1个结果会翻转;而同一个harness重跑一遍,也有23.4个任务会翻转。你看到的“得分差”,有将近四分之一是噪声。 但成本差是实打实的,它不随重跑而消失。



账单差在哪里:开场白吃掉了一半的钱

成本差距最反直觉的地方,在于它不是发生在“干活”的过程中,而是发生在你还没开始干活之前。

同一个模型、同一批任务、同一张价格表,初始固定上下文的长度:Claude Code 16,581 token,OpenCode 7,025 token,mini-SWE-agent 829 token。Claude Code的开场白是mini-SWE-agent的20倍。

这16,581个token里装了什么?系统提示词、CLAUDE.md、自动记忆、MCP工具名和描述、skill定义,全部在你输入第一句话之前就已经加载进去了。这些东西在“构建一个复杂的Agent工作流”时是资产,但在“跑一个边界清晰的编码任务”时是纯开销。你每次调用都在为这16,581个token付钱,无论任务需不需要它们。

Pi的聪明之处不在于它的代码更少,在于它的开场白更克制。 它以49.4%的解决率、$0.29的每任务成本,和mini-swe-agent的51.4%、$0.53统计打平,但便宜了大约45%。mini-swe-agent用极简的上下文换来了低开销,Pi在低开销的基础上把解决率追到了统计等价的水平。“便宜”和“能用”在这两个框架上同时成立。



Codex的21个点:不是框架弱,是“咬合”出了问题

Harness Leaderboard里最值得盯的单个案例,是Codex。

同一个Codex,在DeepSeek-V4.1-Flash上得68.8%,在GLM-5.3-Flash上只有47.4%,相差21个百分点。它在DeepSeek上能挤进第一梯队,在GLM上直接掉到中下游。

这不是“Codex好不好”的问题,是“Codex和GLM之间的接口、工具协议、上下文管理方式没有对齐” 。8090 Labs在另一组测试里也观察到了同样的现象:GLM-5.3-Flash在最好的harness里通过率59%,在最差的harness(Codex)里只有24%,差了35个点;而GPT-5.6 Sol无论换哪个harness,得分只波动6个点。有些模型“挑框架”,有些模型“不挑”。GLM是前者,Sol是后者。

对普通开发者的直接含义:你选了一个模型,不代表你选了一个“在所有框架里都一样表现”的模型。 同一个权重,在不同的Agent外壳里,可能是两个完全不同的产品。Harness Leaderboard的结论写得很干脆:“第一名会随模型变化。” GLM上mini-swe-agent以62.1%夺冠,Claude Code 60.7%并列第四;换到DeepSeek,Hermes Agent以71.3%领先,mini-swe-agent 70.7%紧随其后。没有“最强框架”,只有“和这个模型咬合最好的框架”。



大厂框架不便宜,也不一定更好:一句被数据反复验证的话

山东大学那组研究的总结,可能是整份榜单里最值钱的一句话:“A vendor’s own harness on its own model buys no score advantage.” 厂商自己的harness跑自己的模型,买不到分数优势。

这句话不是修辞。8090 Labs的测试里,五个harness里有三个来自模型厂商(Codex来自OpenAI、Claude Code来自Anthropic、DeepSeek harness来自DeepSeek),没有一个模型在自己的“主场框架”里拿到最好成绩。Claude Fable 5.1在Claude Code里通过率41%,在Codex里是61%,差了20个点;它在Claude Code里的工具调用中位数是28次,在Codex里是66次。“主场”甚至可能是一个劣势,因为厂商的harness可能针对自家模型的某些默认行为做了过度特化,换到别的模型上,这些特化变成了摩擦。

这直接回答了“Claude Code比mini-SWE-agent贵5倍值得吗”这个问题。 如果你需要的是Claude Code那套完整的工具链、MCP集成、CLAUDE.md项目记忆、子Agent编排,它16,581 token的开场白是你在为这些能力付费,值得。如果你只是需要一个“能读写文件、能跑命令、能改代码”的Agent,mini-SWE-agent的829 token开场白能完成同样的事,得分统计等价,成本只有几分之一。贵的不是“能力”,是“周边”。 而周边有没有用,取决于你的任务有多复杂。



无人值守的夜晚,应该看哪个数字

Harness Leaderboard给了一个被平均分掩盖的维度:可靠性。

前五名harness的“三次尝试全部解决”比率只有32.0%到33.3%,“至少解决一次”的比率是64.8%到68.6%。三个任务里,只有一个能保证三次全过。 如果你在夜里让Agent无人值守地跑一个任务,第二天早上看到的“成功”有相当概率是第二次或第三次重试的结果,而重试消耗的Token、时间和API额度,全部计入你的账单。

对无人值守场景,应该看“三次全对率”,不是平均分。 平均分是“允许重试”的数字,全对率是“一次做对”的数字。一个平均分很高但全对率很低的框架,意味着你在白天有人盯着的时候用得很顺,在夜里没人管的时候反复烧钱。

这也解释了为什么“框架得分差24分”这件事需要打一个折扣:换框架翻转29.1%的任务,重跑同一框架也翻转23.4%。两个数字放在一起,意味着你看到的“框架排名”里,有相当一部分不是框架本身的稳定优势,而是随机波动。得分可以用来排除明显不匹配的组合(比如Codex+GLM),但不能用来在几个统计等价的选项里“精确选优”。



怎么选:一份按任务类型拆的决策表

如果你的任务是短周期、边界清晰、人就在旁边盯着: 选轻量框架。Pi或mini-SWE-agent是起点,成本低、开场白小、得分和重框架统计等价。省下的钱可以用来多跑几次验证,而不是用来为不需要的周边付费。

如果你的任务需要复杂的工具链、MCP集成、项目级记忆、多Agent协作: 大厂框架的“重”在这里是功能,不是浪费。但你要做一件事:确认这个框架和你的模型“咬合”。Codex+GLM的21个点落差就是警告。在正式用之前,用同一批任务跑一次对照,看它在你的模型上的得分和成本是否可接受。

如果你让Agent在夜里无人值守地跑: 先查这个框架在Harness Leaderboard上的“三次全对率”,而不是平均分。如果全对率在32%附近,意味着你需要为“重试”预留三倍的预算和时间。

如果你在用自部署的开放模型: 注意“特化税”。一个在特定harness上训练过的模型,换到另一个harness后分数会下降。Harness Leaderboard只覆盖了三个Flash档开放模型,不含原生Claude或GPT。你的模型不在榜单上,不代表榜单没用,但你需要自己补一次最小化的对照测试。



28,849次试验、$4,746的推理账单,买到的最有价值的一条结论,不是“哪个框架第一”,而是:模型和框架是两个人,不是一个人。 你把所有的注意力放在“选哪个模型”上,但真正决定你账单和体验的,可能是那个你从来没认真看过一眼的外壳。Claude Code不是不好,它只是在“便宜且够用”这件事上,被一个100行Python的框架追平了。而你要做的,是知道自己在为什么付费。

声明:内容由AI生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

娱深有瓜
2026-11-22 14:05:10
从110万跌到30万,海景房真的凉了!业主哭诉:当年抢着买,现在倒贴也没人要!

从110万跌到30万,海景房真的凉了!业主哭诉:当年抢着买,现在倒贴也没人要!

巢客HOME
2026-11-22 13:55:04
河南小县城传来巨响!一个农民攻克世界难题,打破欧美技术封锁

河南小县城传来巨响!一个农民攻克世界难题,打破欧美技术封锁

基斯默默
2026-11-22 09:38:25
新深圳人退休了,社保不足20年,个人账户只有5.5万,50岁退休照样近2000养老金,知足了

新深圳人退休了,社保不足20年,个人账户只有5.5万,50岁退休照样近2000养老金,知足了

平静话社保
2026-11-22 09:56:38
德媒:德国太天真了,我们最大的幻想,就是信了中国是个现代强国

德媒:德国太天真了,我们最大的幻想,就是信了中国是个现代强国

你是我心中最美星空
2026-11-22 05:46:42
环球体育:博卡2-0米内罗竞技,三夺南美杯

环球体育:博卡2-0米内罗竞技,三夺南美杯

懂球帝
2026-11-22 09:08:03
NPC“房玄龄”王泽回应离开大唐不夜城:面对大量游客,觉得离角色越来越远

NPC“房玄龄”王泽回应离开大唐不夜城:面对大量游客,觉得离角色越来越远

娱乐嗑学家.
2026-11-08 11:37:18
董路怒骂马德兴:口贩子王八蛋!给浮嶋敏洗地,当初你怎么骂李铁的?

董路怒骂马德兴:口贩子王八蛋!给浮嶋敏洗地,当初你怎么骂李铁的?

念洲
2026-11-22 08:49:31
二战时美军有个气象预报员,每天不琢磨怎么让飞行员活下来,反而想着怎么一次弄死最多的人

二战时美军有个气象预报员,每天不琢磨怎么让飞行员活下来,反而想着怎么一次弄死最多的人

言过于诚
2026-11-21 21:03:49
普京和特朗普专机差距到底有多大

普京和特朗普专机差距到底有多大

观界z
2026-11-21 15:05:48
黄仁勋走后,台积电掏出账本:以后,老黄是老黄,英伟达是英伟达

黄仁勋走后,台积电掏出账本:以后,老黄是老黄,英伟达是英伟达

指忘崖
2026-11-22 08:31:37
记者:蒋光太是最成功的归化球员,即使伤病增多也未曾离开

记者:蒋光太是最成功的归化球员,即使伤病增多也未曾离开

懂球帝
2026-11-22 14:44:20
佩莱格里尼:我们本可以赢下德比,最后的丢球完全能够避免

佩莱格里尼:我们本可以赢下德比,最后的丢球完全能够避免

懂球帝
2026-11-22 05:36:11
因担心变同性恋,父亲逼儿子与后妈发生性关系

因担心变同性恋,父亲逼儿子与后妈发生性关系

侠客栈
2026-11-21 11:37:29
金饰克价年内大跌超650元

金饰克价年内大跌超650元

21世纪经济报道
2026-11-21 13:31:39
新一轮冷空气来了,四川多地降雨降雪降温

新一轮冷空气来了,四川多地降雨降雪降温

掌上金牛
2026-11-22 11:53:57
李邑飞主持宁夏省级老同志座谈会和党外人士座谈会,张雨浦、陈雍出席

李邑飞主持宁夏省级老同志座谈会和党外人士座谈会,张雨浦、陈雍出席

政知新媒体
2026-11-22 14:27:53
深度长文:黎曼猜想,统治数学界160年的无冕之王,到底有多恐怖?

深度长文:黎曼猜想,统治数学界160年的无冕之王,到底有多恐怖?

宇宙时空
2026-10-12 11:58:16
末节连续失误,山东男篮杯赛出局,姚柯宇14+3值得培养,陶汉林11+5

末节连续失误,山东男篮杯赛出局,姚柯宇14+3值得培养,陶汉林11+5

替补席看球
2026-11-22 17:14:58
不忍了!北约突然掀桌,准备直捣俄罗斯腹地

不忍了!北约突然掀桌,准备直捣俄罗斯腹地

今观天下
2026-11-07 07:49:23
2026-11-22 18:48:49
阿鑫讲ai
阿鑫讲ai
专门讲解现阶段高热度的AI
134文章数 16关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

房产
家居
游戏
亲子
数码

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

家居要闻

2026建博会(广州) 公装联探展交流活动

GTA6哪些建筑能进?原来看一眼地图就知道!

亲子要闻

孩子厌学不想上学,不是想开点就好了

数码要闻

Clicks Communicator实体键盘手机因零部件供应短缺推迟交付

无障碍浏览 进入关怀版