周三下午,一个做 agent 路由的开发者盯着日志发愁。他给分类器小模型写的指令是"只回一个词",结果对面回了"coding",后面还跟了一整段解释。严格解析器一读,coding 提示被送进了便宜模型。
这是大多数 agent 路由器里最脆弱的一环:靠一个小模型吐单词,再靠解析器猜意图。Cloudflare 的 Clef 想拆掉的就是这一环。
它的做法是给候选选项打分,一次跑完,不生成任何 token,计费只算输入。Clef-flash 的价格是每百万 token 0.038 美元。在一次公开构建里,它把 200 个测试请求全部路由正确,200 对 200。
但那位构建者没有因此删掉自己的策略。他保留了 0.7 的置信度阈值、fallback 开关,以及"拿不准就走 Sonnet"的规则。Clef 换掉的是分类器调用,策略仍然要自己写、自己调。
这一点值得说清楚:Clef 不是替你决定流量去哪,它只是把"这个请求该给哪个模型"的判断做得更稳。阈值、兜底、升级路径,这些还是路由器的骨架。
在 Cloudflare 自己的 RouterBench 跑分里,Clef 和 TypeSafe 的 Jev 打平,79.7 对 79.9。这个数字很关键——它意味着换用 Clef 的理由不是路由更准,而是价格、免费额度、图像能力或者开放权重。
换句话说,如果你的路由器现在跑得还行,Clef 不会让你的准确率突然跳一截。它解决的是那个"只回一个词"的解析噩梦,以及按 token 生成计费的成本结构。
对每天要处理大量请求的 agent 系统来说,输入计费和零生成这两点,省下的是真金白银。而 200 次全对的公开构建,至少说明打分式分类在真实请求上站得住。
那位开发者最后留下的四步检查,是拿自己的 200 个请求去验证。这个动作本身比任何跑分都实在:先看你的请求分布,再看 Clef 的打分是否和你的策略对得上,最后才谈替换。
分类器调用可以换,路由策略换不了。Clef 把前者的失败率压下去,把后者原样还给你。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.