网易首页 > 网易号 > 正文 申请入驻

工具定义写不好,AI智能体就靠猜:这套评分规则把问题量化了

0
分享至

MCP(Model Context Protocol)工具定义,是智能体与外部工具之间的唯一接口。但接口写得好不好,目前几乎没有标准化的检查手段。SitePoint 团队最近开源了一个 TypeScript CLI 检查器,用五个维度的加权评分,把"定义质量"这件事从玄学变成了可量化的数字。

为什么要较真这件事?因为 LLM 在选择工具时,能看到的信号只有三个:name、description 和 inputSchema。描述写得含糊、参数类型缺失、约束条件没声明,模型就只能靠猜。猜的结果就是幻觉调用、路由错误的工具请求,以及白花花的 Token 消耗。


五个维度,对应五种故障模式

这个检查器把质量拆成五个加权维度,每个维度对应一类典型问题:

  • Schema 有效性(30%):用 Ajv 做元验证,捕获会导致运行时崩溃的结构性 JSON Schema 错误
  • 描述质量(25%):用长度和行动动词启发式规则,对模糊或填充式开头扣分
  • 参数完整性(25%):检查每个属性是否都有类型和描述,且 required 是否声明
  • 命名规范(10%):强制使用 kebab-case / snake_case 的动词-名词格式
  • 约束丰富度(10%):标记无约束的字符串——这是格式错误智能体输入最常见的来源

权重分配不是拍脑袋。Schema 错误直接导致运行失败,所以权重最高;描述和参数是模型决策的主要依据,各占四分之一;命名和约束属于锦上添花,但缺失会显著增加误用概率。

按比例扣分,不做一刀切

这套验证机制最聪明的地方,在于惩罚是按比例缩放的,而不是二元制的通过/失败。举个例子:一个工具定义了十个属性,只有一个缺类型描述,它付出的代价会远小于十个属性全部缺失的情况。

这种设计避免了断崖式评分——不会因为一个小瑕疵就把整个定义判死刑,同时保留了可操作的粒度。团队能清楚地看到,扣分到底扣在哪个属性上,而不是面对一个笼统的"不合格"。

三个阈值,直接对接 CI/CD

最终分数映射到三个状态阈值,每个都有明确的行动含义:

  • PASS(≥75):生产就绪,可以放心交给智能体调用
  • WARN(50–74):功能基本可用,但存在显著差距,建议修复
  • FAIL(<50):存在智能体误用的真实风险,必须打回重写

这套阈值设计得很务实。它不是为了给开发者添堵,而是给团队一个清晰的 CI/CD 质量门禁集成点。代码合并前跑一遍检查器,分数不达标就不放行,比事后在线上发现幻觉调用要便宜得多。

为什么说这是必要而非可选

SitePoint 团队在文章里点破了一个核心事实:MCP 工具定义是智能体与工具之间的唯一接口,定义质量直接决定智能体的可靠性。原文里有一句话说得挺直白:"写得糟糕的定义会直接导致智能体幻觉、路由错误的工具调用和 Token 浪费,因为模型在努力解读模糊的 Schema。"

另一个值得注意的观察是:"在实践中,无约束的字符串是最常见的格式错误智能体输入的源头之一。"这解释了为什么约束丰富度虽然只占 10% 权重,却被单独列为一个维度——它防的是最高频的坑。

最后那句比喻也挺妙:"一张图片可能在技术上响应正确,但仍然看起来很糟。"工具定义同理——Schema 合法不代表定义好用,模型能不能准确理解并调用,才是真正的质量标准。

这套检查器把"定义质量"从主观感受变成了可执行的数字门槛。对于正在把智能体推向生产的团队来说,这算是一个成本极低但收益明确的工程质量工具。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
在酒店当前台见多了,经常是男的先来开个标间,隔一小会儿女的戴着口罩进来

在酒店当前台见多了,经常是男的先来开个标间,隔一小会儿女的戴着口罩进来

叮当当科技
2026-09-05 00:19:56
43岁阿Sa隐藏十年重病曝光:成年人的体面,全是硬撑出来的

43岁阿Sa隐藏十年重病曝光:成年人的体面,全是硬撑出来的

陈意小可爱
2026-09-03 07:43:53
很多底层年轻人对社保断缴毫不在意,就不担心老了后没有保障吗?

很多底层年轻人对社保断缴毫不在意,就不担心老了后没有保障吗?

夜深爱杂谈
2026-08-21 19:51:44
iPhone 18 Pro对比iPhone 17 Pro:五大升级哪个最值

iPhone 18 Pro对比iPhone 17 Pro:五大升级哪个最值

CNMO科技
2026-09-04 18:13:14
中国女篮61 94不敌美国,本场比赛诞生6大真相!张子宇面对美国不怂

中国女篮61 94不敌美国,本场比赛诞生6大真相!张子宇面对美国不怂

天镜云生m
2026-09-04 22:32:34
穆里尼奥铁腕清洗!皇马冠军功勋直接除名!19 岁天才强势上位

穆里尼奥铁腕清洗!皇马冠军功勋直接除名!19 岁天才强势上位

澜归序
2026-09-04 09:12:05
曹德旺当年反对女儿嫁给厦大高材生,理由只有一句:他太优秀了!14年后,这个女婿拿到的不是聘书,而是福耀的一份重任

曹德旺当年反对女儿嫁给厦大高材生,理由只有一句:他太优秀了!14年后,这个女婿拿到的不是聘书,而是福耀的一份重任

背包旅行
2026-09-03 15:48:21
43岁范冰冰受封拿督,事业疑获新大佬支持,全面进军海外市场

43岁范冰冰受封拿督,事业疑获新大佬支持,全面进军海外市场

萌神木木
2025-08-24 13:52:35
为什么韦东奕编教辅要承受道德绑架?

为什么韦东奕编教辅要承受道德绑架?

风铃草语
2026-09-04 04:29:26
下一代本田CR-V或取消1.5T引擎:全系改搭新一代e:HEV Hybrid!

下一代本田CR-V或取消1.5T引擎:全系改搭新一代e:HEV Hybrid!

我来自街头
2026-09-03 17:26:38
1米3袖珍美女:嫁给1米48男孩,婚后丈夫奇迹长高,最终不欢而散

1米3袖珍美女:嫁给1米48男孩,婚后丈夫奇迹长高,最终不欢而散

梦醉为红颜一笑
2026-09-05 01:01:29
手机集体涨价吓跑了买手机的人,转嫁成本给消费者的品牌终将自食恶果

手机集体涨价吓跑了买手机的人,转嫁成本给消费者的品牌终将自食恶果

东方豪侠
2026-09-04 07:37:23
每天一个鸡蛋错了?医生再三建议:糖尿病人群,吃鸡蛋注意这几点

每天一个鸡蛋错了?医生再三建议:糖尿病人群,吃鸡蛋注意这几点

健康之光
2026-09-04 17:28:13
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
苏联曾承诺,1995年将海参崴港口归还中国,为何如今却杳无音信?

苏联曾承诺,1995年将海参崴港口归还中国,为何如今却杳无音信?

搜史君
2026-08-30 16:30:12
都说英国早就没落,已经凉透了,凭啥还敢硬刚大俄

都说英国早就没落,已经凉透了,凭啥还敢硬刚大俄

寰球经纬所
2026-09-04 16:31:23
乌两大情报部门互相指责对方抹黑,泽连斯基提交打击诈骗呼叫中心法案

乌两大情报部门互相指责对方抹黑,泽连斯基提交打击诈骗呼叫中心法案

山河路口
2026-09-04 11:11:12
中方加紧收网,安世刚在华吃瘪,荷兰央行:276万盎司黄金已转移

中方加紧收网,安世刚在华吃瘪,荷兰央行:276万盎司黄金已转移

叮当当科技
2026-09-04 00:46:34
著名学者:毛主席是懂经济的,不懂马克思主义政治经济学,就写不出这些著作来!

著名学者:毛主席是懂经济的,不懂马克思主义政治经济学,就写不出这些著作来!

谈古论今历史有道
2026-09-03 06:45:06
定了!下半年起,宽带费、有线电视费全面大洗牌!家家都能省钱

定了!下半年起,宽带费、有线电视费全面大洗牌!家家都能省钱

林子说事
2026-06-18 19:58:33
2026-09-05 03:04:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
285文章数 62关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

莆田凌晨山体滑坡掩埋房屋 居民:外婆和舅舅失联

头条要闻

莆田凌晨山体滑坡掩埋房屋 居民:外婆和舅舅失联

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

古天乐公司欠债1.49亿

财经要闻

姚洋:刺激消费要守住两个“大西瓜”

汽车要闻

搭载天枢领航Ultra 长安启源Q06预售14.79万元起

态度原创

艺术
旅游
健康
教育
军事航空

艺术要闻

吴柳、郑柳、林风柳,各有各的“柳”氓!

旅游要闻

不负天赐好地方,知子罗的落寞与温柔,读懂岁月变迁!

脑梗取栓成功≠活下来,还有这三关

教育要闻

懵圈!问政平台是许愿池吗?去年家长喊6点前必须放学, 今年喊6点放学哪个接娃

军事要闻

美国最年轻的陆军部长越级告了防长的状

无障碍浏览 进入关怀版