网易首页 > 网易号 > 正文 申请入驻

同一个AI,加记忆后首次派单准确率从18%升到74%

0
分享至

同一个模型,同一套决策代码,只差一层记忆:首次派单准确率从18%跳到74%,转人工比例从66%压到4%。这不是换了个更强的AI,是给它配了一张会记事的图。


测试对象是 microsoft/vscode 的真实工单分诊。作者用 FalkorDB 搭了一个叫 Handoff Graph 的派单代理,核心动作只有一个:记住谁把哪类问题转给了谁。然后在两个完全独立的留出时间段上各跑一次,不做训练,不调参。

先看没有记忆时的表现。夏季时段,代理把66%的工单直接推给人工,首次就选对负责人的比例只有18%。春季时段类似:64%转人工,首次准确率15%。这个水平基本等于没用。

加上记忆之后,同一套代码在两个时段分别做到4%转人工、74%首次准确,以及7%转人工、58%首次准确。作者的说法是,这个成绩距离微软专门做的分诊分类器只差几个百分点,而后者跑在自己的模型上,还配了一份手工维护的归属文件,并由 VS Code 团队人工纠正。

为什么记忆这件事在派单上这么值钱?因为转派本身就是高频动作。素材引用的微软自家研究显示,被重新指派的工单,分诊耗时可能长达原来的10倍。2009年一项针对 Mozilla 和 Eclipse 的研究发现,37%到44%的缺陷在开发者之间被转手。工单系统会统计这些转派,但不会从中学习。

2026年6月到10月中旬,microsoft/vscode 收到11,734个工单,分诊机器人完成了65%的首次指派,其中1,678个被转给了别人,而这些转派里有五分之四是从机器人的选择开始的。每一次转派都带着信息:这类问题给了这个人,最后落到了那个人手里。

有些工程师天然是枢纽。素材里提到一位工程师(记为A),6月到10月间从机器人手里接了405个工单,留下238个,把75个转给一位同事,64个转给另一位。这种模式在单个工单里完全看不见,放进图里就一目了然。

系统结构很克制。学习器是唯一写入方,把每次转派变成一条带时间戳的边;路由器只读,工单进来后先问图:A 把类似的工作转给过谁,A 自己又留下了多少。这给出一个很短的候选名单和一个先验。然后决策模型 TypeSafe Jev 对每个候选只回答一个很窄的是非题:这个工单更像 A 留下的那些,还是更像 A 转给 B 的那些。

决策规则写在代码里,不写在提示词里。备选明显更优就改派,差距太小就交人工并说明理由,否则维持机器人的原选择。每个决定都会附带一条能解释它的图路径。模型全程不写查询语句,只通过 MCP 服务器调用一组固定工具。

评测部分作者花的时间最多。做法是按时间顺序回放:每个历史工单都在 VS Code 机器人首次指派的那个时刻被路由,学习器逐日推进,所有查询都带时间过滤,决策永远看不到之后发生的转派。标签泄漏也被处理掉了——工单的区域标签往往由后来转派它的人加上,路由时刻只有约五分之一的转派带有区域标签,所以只用当时已存在的标签,其余靠工单文本。

对照组的设置是公平的:没有记忆,指的是同一个 Jev 模型、同一套决策代码,只有候选名单和先验换了来源,改成过去两周被指派最多的人。设计在开发窗口上做完后冻结,提交确切命令,在留出期上只跑一次。

作者还专门做了一次“把图拿掉”的测试,因为比赛规则要求图必须干真活。同样的模型、同样的提示、同样的决策代码,唯一变化是去掉图提供的东西:谁在什么时刻把什么转给了谁。结果转人工从4%弹回66%,首次准确率从74%掉回18%。

它没有赢过微软的分类器。在代理选择自己路由的那些工单上,两者准确率打平,差距在0.2个百分点以内。作者还预注册了一个更严格的尝试:转人工不超过15%的前提下,精度至少提升2个百分点。这个方案在开发数据上是+3.8,在没见过的春季时段掉到+0.5。作者自己点明,这是典型的对噪声过拟合,并且选择把它展示出来而不是藏起来。

天花板也测了。假设系统能精确知道哪些工单会被转走,并把每一个都送给该工程师最近最常转给的人,准确率也只能到大约85%,而机器人本身是78%。也就是说,全部收益只有七个点,而且前提是你能预知哪张工单会被转发。光知道“谁爱转发”不够。作者试过手上所有信号:工单文本的 AUC 是0.57,接近抛硬币;个人近期转发率的 AUC 是0.74,但没有一条覆盖规则能跑赢;谁提交的工单则毫无帮助。转派的中位时间发生在路由后大约一天,取决于工作量、休假,以及工单到达时没人看得见的那些对话。

关于人的记忆腐坏得很快。在开发数据上,记忆给出的最佳备选命中了最终负责人的38%;一个月后的夏季留出期,这个数字掉到13%。谁把什么转给谁,几周内就会变。作者认为,这恰恰是“持续在线学习的图”胜过“一次训练完成的分类器”的最强论据。

还有一个机器人看不见的信号。当某位工程师连续转走了最近三个工单,机器人下一次给他派单,12次里只对了3次——那人通常不在。图能注意到这个连续转派的势头,机器人却照派不误。这种情况很少,占比不到1%,但正是只有行为记忆才能做出的判断。

两个事后发现的描述性结论:代理给出的前三个建议里包含最终负责人的比例是81%和69%,分类器单次选择是77%和62%,如果由人工从建议里挑,这个差别有用。另外,当代理主动要求人工介入时,分类器的选择确实更容易错:错误率36%和47%,而整体是23%和38%。“我不确定”本身就是一个有用的转派风险信号。

作者总结的三条经验里,第一条关于怎么衡量上下文层:要拿同一个代理去掉记忆来比,而不是拿生产系统来比,两个结果都该报。第二条关于时间:所有泄漏都来自未来偷偷溜进来,边上的时间戳加每条查询的时间过滤解决了它。第三条是分工——让模型做判断,让图做遍历,代码管日期。

下一步他想换的不是模型,而是任务本身:不再和机器人在首次猜测上竞争,而是等工单在指派人手里搁置几个小时后作为第二分诊员介入。谁真正接什么活,那种记忆在那里应该最有用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
下个月,就看不到绿皮车的T和K了!2026列车车次新规落地,N、V将接替旧字头,老车次照片或将成为历史

下个月,就看不到绿皮车的T和K了!2026列车车次新规落地,N、V将接替旧字头,老车次照片或将成为历史

火山詩话
2026-10-19 07:28:54
港星凌晨发文求救,急诊苦等十多小时,迟迟无法入病房。

港星凌晨发文求救,急诊苦等十多小时,迟迟无法入病房。

搞笑娱乐笑话
2026-10-18 09:35:14
钱壮飞离奇死亡,66年后研究室揭露真相:他是被人下死手毒害的

钱壮飞离奇死亡,66年后研究室揭露真相:他是被人下死手毒害的

古渡观书
2026-10-19 08:20:50
做完手术人就废了,这5种手术不需要做,别让无知害了自己!

做完手术人就废了,这5种手术不需要做,别让无知害了自己!

健身狂人
2026-10-08 13:49:26
iOS27.2正式更新,全机型升级建议,老iPhone慎更

iOS27.2正式更新,全机型升级建议,老iPhone慎更

小蜜情感说
2026-10-18 06:51:52
超市蔬菜不停喷水,根本不是为了保鲜!藏在日常买菜里的隐形大坑

超市蔬菜不停喷水,根本不是为了保鲜!藏在日常买菜里的隐形大坑

青苹果sht
2026-10-13 04:47:21
男子花1800点陪酒女,摸胸被报警!姑娘:1800是陪酒钱,摸胸得另加

男子花1800点陪酒女,摸胸被报警!姑娘:1800是陪酒钱,摸胸得另加

一丝不苟的法律人
2026-10-16 12:39:11
网传新型卖淫方式又来了,评论区炸锅:当“欲望”撞上“钱包”..

网传新型卖淫方式又来了,评论区炸锅:当“欲望”撞上“钱包”..

慧翔百科
2026-10-19 17:42:05
我刚调任县长,中午在食堂吃饭,一个老同志拍桌子怒吼:瞎了眼吗

我刚调任县长,中午在食堂吃饭,一个老同志拍桌子怒吼:瞎了眼吗

千秋文化
2026-07-01 20:34:45
完胜李楠?留美教头真有两把刷子 未来会接替郭士强任男篮主帅吗

完胜李楠?留美教头真有两把刷子 未来会接替郭士强任男篮主帅吗

大嘴爵爷侃球
2026-10-19 11:20:19
总在凌晨3-5点醒来的人,并非睡不好,而是你的“前世”在求救

总在凌晨3-5点醒来的人,并非睡不好,而是你的“前世”在求救

古怪奇谈录
2025-11-06 14:50:51
一个比走路还简单的“长寿小动作”?每天10分钟,3个变化可留意

一个比走路还简单的“长寿小动作”?每天10分钟,3个变化可留意

芹姐说生活
2026-10-19 20:50:25
《兰香如故》选角几经波折,原定吴谨言因怀孕退出,谭松韵与刘学义作为备选出演。二人靠演技扭转开播差评,成就意外的天选组合。

《兰香如故》选角几经波折,原定吴谨言因怀孕退出,谭松韵与刘学义作为备选出演。二人靠演技扭转开播差评,成就意外的天选组合。

背包旅行
2026-10-19 11:34:52
快讯!俄罗斯传来消息!

快讯!俄罗斯传来消息!

故事终将光明磊落
2026-10-19 09:02:32
公安部多次提醒:卖掉旧手机,不只是丢自己隐私,孩子也会受牵连

公安部多次提醒:卖掉旧手机,不只是丢自己隐私,孩子也会受牵连

你在偷看谁
2026-10-08 19:57:01
安徽合肥一顾客用餐发现头发默默挑出继续吃,老板娘看到后十分感动,为表歉意,当晚通过系统给顾客退了款

安徽合肥一顾客用餐发现头发默默挑出继续吃,老板娘看到后十分感动,为表歉意,当晚通过系统给顾客退了款

扬子晚报
2026-10-19 12:51:12
河南这个村,为啥能让省委书记、代省长一起去现场调研?

河南这个村,为啥能让省委书记、代省长一起去现场调研?

大象新闻
2026-10-19 18:28:03
太阳报:曼联球迷743天未剪发,五连胜挑战仍未完成

太阳报:曼联球迷743天未剪发,五连胜挑战仍未完成

懂球帝
2026-10-19 04:26:07
最尴尬的“新片”,刘德华主演《白衣逆行者》

最尴尬的“新片”,刘德华主演《白衣逆行者》

胡影
2026-10-17 14:18:08
“穷就别出去吃饭!”全家8口人吃80元大盘鸡,没吃饱给差评被喷

“穷就别出去吃饭!”全家8口人吃80元大盘鸡,没吃饱给差评被喷

妍妍教育日记
2026-10-13 18:47:33
2026-10-19 21:31:00
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
241文章数 98关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

中纪委连打三“虎”

头条要闻

中纪委连打三“虎”

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

健康
艺术
游戏
亲子
军事航空

看着很健康的人,怎么会突然猝死?

艺术要闻

428米、95亿,海南第一高楼开始“戴帽子”了!

《姆明:疯狂夏日》 推出Steam免费试玩版!

亲子要闻

济南幼儿园萌娃升旗爆火出圈!一动一静反差感拉满,连央媒都转发了

军事要闻

泽连斯基:若乌“被要求”举行战时选举 他将竞选连任

无障碍浏览 进入关怀版