葬AI基准测试更新：Seed 2.1 Pro急需摆脱平庸的重力

「Claude斩杀线来了」

豆包产品无敌，但Seed模型一直不温不火，大伙对它的印象就两个：

工资高，隔三差五就有千万年包上亿年包新闻，也不知道真假；多模态，但编程能力不太行。

以至于你豆姐被戏称为糖包，甚至成了一个形容词。Gemini拉了，你们叫它北美大豆包。Grok更拉，你们居然说这是北美二豆包。

真是岂有此理！岂不闻君忧臣劳君辱臣死之理乎！豆姐卫士何在？

所以我们有理由相信，Seed模型团队有充足动力憋个大的，不求像Seedance那样放大卫星，至少要将文本模型赶上国内一线水平。

这次Seed 2.1 Pro发布，特别强调了编程和长任务执行的能力，宣传口号是终于能胜任Agent工作的模型，还号称补上了Coding的拼图。

事实果真如此吗？

为了客观体现Seed 2.1 Pro的编程水平，我用它重跑了一遍。让我用最直白、不绕弯的方式，不卖关子，一次性给你模型能力榜单⬇️

结果令人震惊。Seed 2.1 Pro的得分和MiniMax M3差不多，略低于Kimi K2.7 Code ，相比国模第一GLM 5.2更是有明显差距。

这次增加测试了Seed 2.1 Pro和Step 3.7 Flash两个新模型。

测试方法依然是，每个模型跑10轮，每轮独立的Opencode会话，输入同一个执行方案，来重构美丽的葬AI网站（funeralai.cc）。由Codex来调度和打分，用加权平均分排序。

葬AI网站上有测试模型的全部产物，8x10一共80个，大伙可以自己直观感受每个模型的差距。

Seed 2.1 Pro的问题主要出在，很难一次性生成好的结果，工程能力不太稳定。

这导致了Seed的模型调用数比较高，跑完测试任务的调用数为449次，远高于GLM 5.2（321）、Qwen 3.7 Max（218），和Step 3.7 Flash（443）一个水平，仅次于全场调用数最高的MiniMax M3（653）。

体现在生成结果上，Seed 2.1 Pro的产出物很不稳定。

Seed的高分很高，产出了3个高分，但低分更低，波动显著，拉低了总得分。比如下图就是一个高分产物，知识图谱清晰可交互。

https://funeralai.cc/test/r4/doubao-seed-2-1-pro-260628

主要扣分点是，Seed生成不明白知识图谱，这种相对复杂的前端任务，Seed在10次里失败了6次。比如下图就是一个典型的低分产物，知识图谱是空的。

https://funeralai.cc/test/r10/doubao-seed-2-1-pro-260628

另一个大问题是，Seed 2.1 Pro的生成速度太慢了。

跑完测试任务耗时128.9分钟，仅次于MiniMax M3（153.9分钟），远高于于全场最快的DeepSeek V4 Pro（46.7分钟），和比较快的Qwen 3.7 Max（53.3分钟）、Step 3.7 Flash（57.4分钟）、GLM 5.2（69.7分钟）。

生成速度慢的原因，可能是Seed的长程任务执行能力不太行。

这其实是符合豆包自己发布的榜单的。

经过凯一的提醒，我发现原来字节自己跑的测试也反映了这个问题。这两个 Bench 对长程任务 plan 能力的评估比较有代表性，豆包也没藏着掖着，确实不够SOTA。

坦诚清晰，符合字节价值观

凯一对Seed 2.1 Pro评分的解释是，「Seed 通用能力其实好一点，不是 Coding 专精，如果测深度调研，数据爬取，在浏览器里点点点，可能 Seed 就比 GLM 好，GLM 是 Coding 专精。」

不过，现在模型厂全都在卷编程，Seed这次更新也主打任务执行和编程能力。还是让我们回到这次编程测试上。

一共10轮测试任务，Seed 2.1 Pro干出来了8个无效进程，有效产物命中率等于55.6%。依旧远高于GLM 5.2的3个无效，Kimi的2个无效和Step一个无效，其他模型没有失败进程。

调用次数高、任务失败较多，导致了Seed 2.1 Pro的成本也较高，跑完测试任务一共花了41.3元，依旧仅次于Opus 4.8（202.5 元）和Kimi K2.7 Code（164.6 元），远高于DS、Qwen、Minimax都在20元左右的成本，和GLM 5.2成本一致。

所以，在没有任何折扣，直接从火山引擎官网调用的情况下，Seed 2.1 Pro做编程任务的性价比显著不高。

为了直观感受这些模型的完成任务速度、花费和调用数，我也做了一个葬AI基准测试性价比榜。

让大伙除了认识到最强模型之外，也能给予高性价比模型一点关心❤️

其中可以看出，阶跃的Step 3.7 Flash模型特别让我惊喜。它的能力得分比DeepSeek V4 Pro高，成本花费居然比DS还便宜，跑完测试任务只花了11.2元，连注册账号送的15块钱都没用完。

所以在加权了调用数、耗时这些维度后，Step 3.7 Flash是所有模型中的性价比第三名。

性价比榜还非常直观地展示出了一条危险线，就是不仅存在DeepSeek斩杀线，也有Claude斩杀线。

性价比低于梁圣很正常，但性价比低于Claude就非常危险。而MiniMax M3、Kimi K2.7 Code 、Seed 2.1 Pro这三个模型的性价比指数都低于Opus 4.8了。

要努力啊，Kimi、MiniMax和Seed的家人们，一定要努力逃逸平庸的重力

我是相信Seed的，因为从未听说过Seed蒸馏，国产之光靠你了。

最后声明一下，葬AI基准测试依然没有接受任何人的赞助。

这是相对客观的编程能力的评测。两个榜单和所有测试产物都可以在葬AI网站阅读详细版：

funeralai.cc/test

关于Seed模型，明天还有一篇骡子马写的主观评测，看看Seed 2.1 Pro多模态、通用能力啥的到底行不行。力争主客观结合，帮助家人把每个模型整明白

（本文封面由ChatGPT生成，纯人工写作）

⬇️

欢迎订阅我们的Substack

funeralai.substack.com