网易首页 > 网易号 > 正文 申请入驻

工具定义写不好,AI智能体就靠猜:这套评分规则把问题量化了

0
分享至

MCP(Model Context Protocol)工具定义,是智能体与外部工具之间的唯一接口。但接口写得好不好,目前几乎没有标准化的检查手段。SitePoint 团队最近开源了一个 TypeScript CLI 检查器,用五个维度的加权评分,把"定义质量"这件事从玄学变成了可量化的数字。

为什么要较真这件事?因为 LLM 在选择工具时,能看到的信号只有三个:name、description 和 inputSchema。描述写得含糊、参数类型缺失、约束条件没声明,模型就只能靠猜。猜的结果就是幻觉调用、路由错误的工具请求,以及白花花的 Token 消耗。


五个维度,对应五种故障模式

这个检查器把质量拆成五个加权维度,每个维度对应一类典型问题:

  • Schema 有效性(30%):用 Ajv 做元验证,捕获会导致运行时崩溃的结构性 JSON Schema 错误
  • 描述质量(25%):用长度和行动动词启发式规则,对模糊或填充式开头扣分
  • 参数完整性(25%):检查每个属性是否都有类型和描述,且 required 是否声明
  • 命名规范(10%):强制使用 kebab-case / snake_case 的动词-名词格式
  • 约束丰富度(10%):标记无约束的字符串——这是格式错误智能体输入最常见的来源

权重分配不是拍脑袋。Schema 错误直接导致运行失败,所以权重最高;描述和参数是模型决策的主要依据,各占四分之一;命名和约束属于锦上添花,但缺失会显著增加误用概率。

按比例扣分,不做一刀切

这套验证机制最聪明的地方,在于惩罚是按比例缩放的,而不是二元制的通过/失败。举个例子:一个工具定义了十个属性,只有一个缺类型描述,它付出的代价会远小于十个属性全部缺失的情况。

这种设计避免了断崖式评分——不会因为一个小瑕疵就把整个定义判死刑,同时保留了可操作的粒度。团队能清楚地看到,扣分到底扣在哪个属性上,而不是面对一个笼统的"不合格"。

三个阈值,直接对接 CI/CD

最终分数映射到三个状态阈值,每个都有明确的行动含义:

  • PASS(≥75):生产就绪,可以放心交给智能体调用
  • WARN(50–74):功能基本可用,但存在显著差距,建议修复
  • FAIL(<50):存在智能体误用的真实风险,必须打回重写

这套阈值设计得很务实。它不是为了给开发者添堵,而是给团队一个清晰的 CI/CD 质量门禁集成点。代码合并前跑一遍检查器,分数不达标就不放行,比事后在线上发现幻觉调用要便宜得多。

为什么说这是必要而非可选

SitePoint 团队在文章里点破了一个核心事实:MCP 工具定义是智能体与工具之间的唯一接口,定义质量直接决定智能体的可靠性。原文里有一句话说得挺直白:"写得糟糕的定义会直接导致智能体幻觉、路由错误的工具调用和 Token 浪费,因为模型在努力解读模糊的 Schema。"

另一个值得注意的观察是:"在实践中,无约束的字符串是最常见的格式错误智能体输入的源头之一。"这解释了为什么约束丰富度虽然只占 10% 权重,却被单独列为一个维度——它防的是最高频的坑。

最后那句比喻也挺妙:"一张图片可能在技术上响应正确,但仍然看起来很糟。"工具定义同理——Schema 合法不代表定义好用,模型能不能准确理解并调用,才是真正的质量标准。

这套检查器把"定义质量"从主观感受变成了可执行的数字门槛。对于正在把智能体推向生产的团队来说,这算是一个成本极低但收益明确的工程质量工具。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
48岁王阳骑自行车接女儿,背粉包拿头盔很贴心,6岁molly高瘦漂亮

48岁王阳骑自行车接女儿,背粉包拿头盔很贴心,6岁molly高瘦漂亮

小疯子耶
2026-09-04 04:10:01
最近好多开发商都开始慌了

最近好多开发商都开始慌了

真叫卢俊
2026-09-03 10:45:12
四川一考生远赴211报到,住一晚就退学,学费已缴,本人回应:忽然醒悟了

四川一考生远赴211报到,住一晚就退学,学费已缴,本人回应:忽然醒悟了

育学笔谈
2026-09-03 13:46:33
退休返聘迎来严查!最高罚20万、直接清退,这三个大坑避开

退休返聘迎来严查!最高罚20万、直接清退,这三个大坑避开

天气观察站
2026-09-03 08:35:50
前夫告我不养他妈,法官问我为什么不管,我冷笑一声说:我们离婚快一年了,我凭什么养他妈?法官听完,半天没说话

前夫告我不养他妈,法官问我为什么不管,我冷笑一声说:我们离婚快一年了,我凭什么养他妈?法官听完,半天没说话

晓艾故事汇
2026-09-03 11:41:05
每株都有“剧毒”!有人吃它患上尿毒症,但老一辈基本家家都吃过

每株都有“剧毒”!有人吃它患上尿毒症,但老一辈基本家家都吃过

万象硬核本尊
2026-09-03 18:26:53
51岁黄渤锁骨骨折消息曝光不到6小时,恶心的事情就发生了!

51岁黄渤锁骨骨折消息曝光不到6小时,恶心的事情就发生了!

叨唠
2026-09-04 00:01:53
金鹰奖最大意难平!于和伟演技封神,全网直呼不公平:欠他一个影帝

金鹰奖最大意难平!于和伟演技封神,全网直呼不公平:欠他一个影帝

可乐谈情感
2026-09-04 10:00:08
2026基础养老金迎来调整,人社部给出方向,70岁老人能额外加钱吗

2026基础养老金迎来调整,人社部给出方向,70岁老人能额外加钱吗

陈博世财经
2026-09-03 13:58:49
2-4惨败!8强出6席,就在刚刚,斯诺克爆大冷:19岁小将掀翻51岁大黑马!中国军团仅剩独苗

2-4惨败!8强出6席,就在刚刚,斯诺克爆大冷:19岁小将掀翻51岁大黑马!中国军团仅剩独苗

锐评利物浦
2026-09-04 09:16:10
杨瀚森面临三条路!第一条,留在开拓者,基本没戏

杨瀚森面临三条路!第一条,留在开拓者,基本没戏

林子说事
2026-09-03 10:34:11
罕见!53岁确诊胃梅毒

罕见!53岁确诊胃梅毒

医学界
2026-08-31 18:51:47
终于有人说出了大实话!新加坡前外长杨荣文说:不要看美国动不动就威胁中国、制裁中国,其实美国从根本上不敢与中国开战

终于有人说出了大实话!新加坡前外长杨荣文说:不要看美国动不动就威胁中国、制裁中国,其实美国从根本上不敢与中国开战

故巷笑别w
2026-08-31 17:14:12
一个很残酷的真相:父弱母强的家庭,养出来的孩子,大多是这两种

一个很残酷的真相:父弱母强的家庭,养出来的孩子,大多是这两种

户外阿毽
2026-08-25 00:18:35
在泽连斯基威胁关闭俄罗斯天空后,一些航空公司停止飞往莫斯科的航班

在泽连斯基威胁关闭俄罗斯天空后,一些航空公司停止飞往莫斯科的航班

山河路口
2026-09-03 13:36:23
“孤勇”的雷克萨斯ES:干趴了9成以上的新能源?

“孤勇”的雷克萨斯ES:干趴了9成以上的新能源?

车壹条Pro
2026-09-01 21:48:35
山西:坚决拥护党中央对岳普煜的处分决定

山西:坚决拥护党中央对岳普煜的处分决定

澎湃新闻
2026-09-03 21:15:01
刘强东惊天豪赌,拿下百亿白酒巨头

刘强东惊天豪赌,拿下百亿白酒巨头

跨境派Pro
2026-09-03 15:03:05
教育部到底管不管?学校还在瞎卷,初一孩子要在学校呆14个小时!

教育部到底管不管?学校还在瞎卷,初一孩子要在学校呆14个小时!

可达鸭面面观
2026-09-02 11:18:33
为什么一个54岁无业大叔的手机里,能藏着770个少女的噩梦?

为什么一个54岁无业大叔的手机里,能藏着770个少女的噩梦?

刻面
2026-08-24 15:17:45
2026-09-04 11:28:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
249文章数 62关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

尼泊尔泥石流致1290死 民众拍下山洪吞没山谷建筑过程

头条要闻

尼泊尔泥石流致1290死 民众拍下山洪吞没山谷建筑过程

体育要闻

梅西:巴萨10号与阿根廷10号

娱乐要闻

王宝强冯清八年未领证!真相令人泪目

财经要闻

电池税开征,纯电车利润快归零了

汽车要闻

30.99-39.99万 价格够狠、配置够满、豪华够硬 奇瑞捷豹路虎神行者8上市即爆单

态度原创

时尚
本地
教育
房产
军事航空

这么多年,美容觉白睡了?

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

教育要闻

天府新区开学收心指南:家长现在做这7件事,娃开学不慌

房产要闻

投资50亿!三亚又一重大配套,方案曝光!

军事要闻

乌特工内战街头对射 互认对方为"俄特工"

无障碍浏览 进入关怀版