网易首页 > 网易号 > 正文 申请入驻

同一个AI,加记忆后首次派单准确率从18%升到74%

0
分享至

同一个模型,同一套决策代码,只差一层记忆:首次派单准确率从18%跳到74%,转人工比例从66%压到4%。这不是换了个更强的AI,是给它配了一张会记事的图。


测试对象是 microsoft/vscode 的真实工单分诊。作者用 FalkorDB 搭了一个叫 Handoff Graph 的派单代理,核心动作只有一个:记住谁把哪类问题转给了谁。然后在两个完全独立的留出时间段上各跑一次,不做训练,不调参。

先看没有记忆时的表现。夏季时段,代理把66%的工单直接推给人工,首次就选对负责人的比例只有18%。春季时段类似:64%转人工,首次准确率15%。这个水平基本等于没用。

加上记忆之后,同一套代码在两个时段分别做到4%转人工、74%首次准确,以及7%转人工、58%首次准确。作者的说法是,这个成绩距离微软专门做的分诊分类器只差几个百分点,而后者跑在自己的模型上,还配了一份手工维护的归属文件,并由 VS Code 团队人工纠正。

为什么记忆这件事在派单上这么值钱?因为转派本身就是高频动作。素材引用的微软自家研究显示,被重新指派的工单,分诊耗时可能长达原来的10倍。2009年一项针对 Mozilla 和 Eclipse 的研究发现,37%到44%的缺陷在开发者之间被转手。工单系统会统计这些转派,但不会从中学习。

2026年6月到10月中旬,microsoft/vscode 收到11,734个工单,分诊机器人完成了65%的首次指派,其中1,678个被转给了别人,而这些转派里有五分之四是从机器人的选择开始的。每一次转派都带着信息:这类问题给了这个人,最后落到了那个人手里。

有些工程师天然是枢纽。素材里提到一位工程师(记为A),6月到10月间从机器人手里接了405个工单,留下238个,把75个转给一位同事,64个转给另一位。这种模式在单个工单里完全看不见,放进图里就一目了然。

系统结构很克制。学习器是唯一写入方,把每次转派变成一条带时间戳的边;路由器只读,工单进来后先问图:A 把类似的工作转给过谁,A 自己又留下了多少。这给出一个很短的候选名单和一个先验。然后决策模型 TypeSafe Jev 对每个候选只回答一个很窄的是非题:这个工单更像 A 留下的那些,还是更像 A 转给 B 的那些。

决策规则写在代码里,不写在提示词里。备选明显更优就改派,差距太小就交人工并说明理由,否则维持机器人的原选择。每个决定都会附带一条能解释它的图路径。模型全程不写查询语句,只通过 MCP 服务器调用一组固定工具。

评测部分作者花的时间最多。做法是按时间顺序回放:每个历史工单都在 VS Code 机器人首次指派的那个时刻被路由,学习器逐日推进,所有查询都带时间过滤,决策永远看不到之后发生的转派。标签泄漏也被处理掉了——工单的区域标签往往由后来转派它的人加上,路由时刻只有约五分之一的转派带有区域标签,所以只用当时已存在的标签,其余靠工单文本。

对照组的设置是公平的:没有记忆,指的是同一个 Jev 模型、同一套决策代码,只有候选名单和先验换了来源,改成过去两周被指派最多的人。设计在开发窗口上做完后冻结,提交确切命令,在留出期上只跑一次。

作者还专门做了一次“把图拿掉”的测试,因为比赛规则要求图必须干真活。同样的模型、同样的提示、同样的决策代码,唯一变化是去掉图提供的东西:谁在什么时刻把什么转给了谁。结果转人工从4%弹回66%,首次准确率从74%掉回18%。

它没有赢过微软的分类器。在代理选择自己路由的那些工单上,两者准确率打平,差距在0.2个百分点以内。作者还预注册了一个更严格的尝试:转人工不超过15%的前提下,精度至少提升2个百分点。这个方案在开发数据上是+3.8,在没见过的春季时段掉到+0.5。作者自己点明,这是典型的对噪声过拟合,并且选择把它展示出来而不是藏起来。

天花板也测了。假设系统能精确知道哪些工单会被转走,并把每一个都送给该工程师最近最常转给的人,准确率也只能到大约85%,而机器人本身是78%。也就是说,全部收益只有七个点,而且前提是你能预知哪张工单会被转发。光知道“谁爱转发”不够。作者试过手上所有信号:工单文本的 AUC 是0.57,接近抛硬币;个人近期转发率的 AUC 是0.74,但没有一条覆盖规则能跑赢;谁提交的工单则毫无帮助。转派的中位时间发生在路由后大约一天,取决于工作量、休假,以及工单到达时没人看得见的那些对话。

关于人的记忆腐坏得很快。在开发数据上,记忆给出的最佳备选命中了最终负责人的38%;一个月后的夏季留出期,这个数字掉到13%。谁把什么转给谁,几周内就会变。作者认为,这恰恰是“持续在线学习的图”胜过“一次训练完成的分类器”的最强论据。

还有一个机器人看不见的信号。当某位工程师连续转走了最近三个工单,机器人下一次给他派单,12次里只对了3次——那人通常不在。图能注意到这个连续转派的势头,机器人却照派不误。这种情况很少,占比不到1%,但正是只有行为记忆才能做出的判断。

两个事后发现的描述性结论:代理给出的前三个建议里包含最终负责人的比例是81%和69%,分类器单次选择是77%和62%,如果由人工从建议里挑,这个差别有用。另外,当代理主动要求人工介入时,分类器的选择确实更容易错:错误率36%和47%,而整体是23%和38%。“我不确定”本身就是一个有用的转派风险信号。

作者总结的三条经验里,第一条关于怎么衡量上下文层:要拿同一个代理去掉记忆来比,而不是拿生产系统来比,两个结果都该报。第二条关于时间:所有泄漏都来自未来偷偷溜进来,边上的时间戳加每条查询的时间过滤解决了它。第三条是分工——让模型做判断,让图做遍历,代码管日期。

下一步他想换的不是模型,而是任务本身:不再和机器人在首次猜测上竞争,而是等工单在指派人手里搁置几个小时后作为第二分诊员介入。谁真正接什么活,那种记忆在那里应该最有用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
巴萨欧冠战巴黎大名单:亚马尔、拉菲尼亚领衔,孔德缺席

巴萨欧冠战巴黎大名单:亚马尔、拉菲尼亚领衔,孔德缺席

懂球帝
2026-10-19 16:15:43
“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

易玄
2026-09-13 11:43:30
带伤含泪硬撑、连丢10局出局!斯瓦泰克赛后解释不退赛原因,教练劝了她3次

带伤含泪硬撑、连丢10局出局!斯瓦泰克赛后解释不退赛原因,教练劝了她3次

体育妞世界
2026-10-18 23:39:51
985也难!东南大学医学生大一招236人,转出103人,检验19剩2,影像21剩6,临床转出46%

985也难!东南大学医学生大一招236人,转出103人,检验19剩2,影像21剩6,临床转出46%

东东趣谈
2026-10-19 11:18:41
穆帅一石二鸟,妙手解决皇马中场顽疾!巴尔韦德移镇右后卫,皇马4:1大胜,穆帅称赞巴尔韦德全能!

穆帅一石二鸟,妙手解决皇马中场顽疾!巴尔韦德移镇右后卫,皇马4:1大胜,穆帅称赞巴尔韦德全能!

福酱的小时光
2026-10-19 08:14:16
央视直播CBA时间表:10月19日,CCTV5直播上海VS北控冲击两连胜

央视直播CBA时间表:10月19日,CCTV5直播上海VS北控冲击两连胜

薇说体育
2026-10-19 11:45:41
我国没人情味的城市,3个城市榜上有名,有人说来了8年还像客人

我国没人情味的城市,3个城市榜上有名,有人说来了8年还像客人

丁丁鲤史纪
2026-10-17 05:31:49
控股股东无偿赠与6000万!002207,早盘涨停

控股股东无偿赠与6000万!002207,早盘涨停

大众证券报
2026-10-19 11:48:08
勇士5年1.1亿续约波杰姆斯基

勇士5年1.1亿续约波杰姆斯基

元气满分吖
2026-10-19 18:50:21
别再一口咬定特朗普是美国最差总统了,真正把二战后那手天胡好牌打得稀烂、把美国百年国运提前透支的,是1945年仓促接班的杜鲁门

别再一口咬定特朗普是美国最差总统了,真正把二战后那手天胡好牌打得稀烂、把美国百年国运提前透支的,是1945年仓促接班的杜鲁门

谈史论今1
2026-10-12 18:44:34
去过越南旅游的华人直言:别信媒体吹牛,越南相当于我国三线城市

去过越南旅游的华人直言:别信媒体吹牛,越南相当于我国三线城市

离离言几许
2026-10-19 17:49:21
毛主席生平最后一战:81岁拍板打这一仗,甲午的账终于算了

毛主席生平最后一战:81岁拍板打这一仗,甲午的账终于算了

纪史行者
2026-09-23 15:06:02
面对土耳其的请求,中国当场就拒绝了。原因很简单:从“瓦良格”号开始,双方之间的信任就已经破裂,想再重新建立起来,根本没门

面对土耳其的请求,中国当场就拒绝了。原因很简单:从“瓦良格”号开始,双方之间的信任就已经破裂,想再重新建立起来,根本没门

z千年历史老号
2026-10-13 19:47:59
华为新品突然公布,采用新配色,即将上市

华为新品突然公布,采用新配色,即将上市

科技堡垒
2026-10-19 11:38:24
林青霞、李连杰主演《笑傲江湖2:东方不败》官宣定档10月30日

林青霞、李连杰主演《笑傲江湖2:东方不败》官宣定档10月30日

手工制作阿歼
2026-10-18 00:04:38
这是什么踢法?海港祭出罕见独创325阵型:直接拉爆蓉城体能,大连英博渔翁得利

这是什么踢法?海港祭出罕见独创325阵型:直接拉爆蓉城体能,大连英博渔翁得利

足球大腕
2026-10-19 00:05:59
亲生儿子在父亲再婚后20多年不往来,父亲去世后却回老家要求继承遗产,还起诉继母女儿争房产,法院:未履行赡养义务,分配遗产时应当少分

亲生儿子在父亲再婚后20多年不往来,父亲去世后却回老家要求继承遗产,还起诉继母女儿争房产,法院:未履行赡养义务,分配遗产时应当少分

潇湘晨报
2026-10-19 18:18:29
罕见低头!泽连斯基首次公开认栽:打了这么多年仗,我犯了无数错

罕见低头!泽连斯基首次公开认栽:打了这么多年仗,我犯了无数错

老马拉车莫少装
2026-09-24 21:22:49
专家说:人到六十,就要开始为死亡做准备!不是悲观,是顶级清醒

专家说:人到六十,就要开始为死亡做准备!不是悲观,是顶级清醒

娱乐洞察点点
2026-10-17 16:23:37
血型决定寿命长短?美国60万人研究发现:A型血60岁前或更易中风

血型决定寿命长短?美国60万人研究发现:A型血60岁前或更易中风

路医生健康科普
2026-10-19 13:20:09
2026-10-19 19:52:49
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
241文章数 98关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

女子生龙凤胎起诉已婚董事长确认亲子关系 遭男方起诉

头条要闻

女子生龙凤胎起诉已婚董事长确认亲子关系 遭男方起诉

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

手机
本地
游戏
数码
公开课

手机要闻

华为Mate换机季攻略:除了数据迁移 交通卡也能无缝衔接

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

天下霸唱IP改编影游!《天坑追匪》Demo上架Steam

数码要闻

影驰预热新款HOF(名人堂)显卡:有望导入施华洛世奇水晶装饰

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版