北京
同一个开源模型，同一套800个任务，换一家托管商，得分能从93.4%掉到69.5%。这不是模型本身的问题，是"你在哪买它"的问题。Tīrtha Bench 把这件事摆上了同一张表。
把模型接进编码智能体时，真正要回答的问题从来不是"哪个模型最聪明"。它更窄、更实际：哪个模型能做出正确的工具调用，多久做对一次，多快，每个正确答案花多少钱，以及在哪个托管商上跑。这些答案此前散落各处，于是他们自己搭了一个测试台，如今对外开放。
一条规则：同样的测试，同样的评分
多数排行榜把来自不同测试集、不同提示词、不同评分器的数字混在一起，然后并排排名。这里的规则只有一条：一个模型只和跑过完全相同测试、用同样方式评分的模型比较。
核心测试是来自伯克利公开 BFCL 数据集的800个工具调用任务：400个单次调用、200个需要在多个工具间做选择、200个需要并行调用，外加120条他们自己写的陷阱提示，专门诱导错误的工具调用。共享表上的每个模型都跑完了全部这些。
页面上的每个标签都来自一条可悬停查看的固定规则，不是主观判断。他们自己的产品也放在同一张表上，用同样的方式测量，按任务类型拆分。
共享测试能看出排行榜看不出的东西
托管商比模型本身更关键。同一个开源模型 gpt-oss-120b，在同样的800个任务上，由四家不同服务商提供，得分落在63.9%到78.0%之间。
Llama 3.3 70B 的差距更刺眼：一家托管商上93.4%，另一家69.5%。从排行榜上挑一个模型，再从最便宜的托管商那里买，你拿到的可能不是你以为的那个模型。
看每个正确答案的价格，而不是标价。一个便宜但错得多的模型，按每次正确调用算可能更贵。所以他们把每次运行的实际花费除以答对的次数：差距达到65倍，从每1000次正确调用0.09美元到5.63美元。
版本迭代的变化会被单一总分掩盖。DeepSeek 新的 V4.1 Flash 总分和 V4 Flash 持平，在噪声范围内算打平。但它落入陷阱的次数少得多——陷阱规避率88%对73%——并行调用的处理也更好。
还有一类"给模型打分的模型"。智能体越来越多地用一个小型的是/否模型，在工具调用真正执行前批准或拒绝它。这些检查器也接受同样的测试，包括它们放过了多少次错误调用。
每个模型都有自己的页面
点开任意模型，能看到它的核心数字和在跑过同一测试的模型中的排名、一句话解读、按任务类型的准确率、各项指标上的位置，以及他们持有的全部原始结果——失败的运行也在，并且被标注出来。
外部可复现
无法复现的基准测试只是一个声明。所以他们把发出的每一个请求都公开了，并且确实有人复现了。Mikhail Maslenik 在自己的机器上、用同一个模型的量化副本跑完了这800个请求，用伯克利的官方检查器评分，得到90.6%；他们自己得到91.0%。800个任务里差三个。
他也发现了每一次诚实重跑都会发现的东西：公开测试集里有两个条目，其预期答案会惩罚一个合理的回复；以及他们的评分器是自己对伯克利版本的改写。接下来他们会用官方检查器给自己的运行评分，让两边可以直接比较，那两个条目也会在页面上加注说明。
下一步：真实工作
单次工具调用是容易的部分。真实的编码工作是长会话，Mikhail 指出的正是模型在那里崩掉的地方。他的案例是：一条直接指令"连接到本地服务器并更新它"，一个模型把整个预算花在读无关文件上，始终没连上；而一个免费模型几分钟内就连接、更新并拉取了日志。
所以下一个赛道"Real Work"将测量：
- 第一次真实动作之前的工作量：打开了多少文件、做了多少次调用、花了多少 token 和秒数，以及它到底有没有做那件事。
- 上下文填充：同一任务分别从干净上下文、半满的真实会话历史、以及压缩之后立刻开始。
- 耐力跑（他的设计）：45分钟构建一个小型同步工具，对手服务器中途改变数据格式、每十次请求失败一次、并把指令藏在数据里。
- 能解释分数的日志：每一步、每次重试、每次恢复，都在同一个时钟上，让低分变成一个可以修复的故事。
还没解决的是真实工作上的公平性。一次45分钟任务的运行只是一个样本，早期运气好的模型看起来会很守纪律。多少个随机种子才够让排名有意义？在把仓库交给一个模型之前，你想先看到什么被测量？
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
