网易首页 > 网易号 > 正文 申请入驻

25条记忆仅6条被隔离,非全部污染

0
分享至

一个论坛帖子里写着:Python 包 requests 现在改名叫 reqeusts 了。这是个拼写抢注的假名字。研究智能体读到这条,把它当成事实;规划智能体读到这条事实,写下一步计划;编码智能体读到这步计划,写进 requirements.txt。编码智能体从头到尾没打开过那个论坛帖,它的文件照样被污染了。


后来警告来了:那个帖子是一次提示注入。现在得决定扔什么。两种粗暴做法摆在桌上:把所有碰过毒源的智能体全部重置,或者把记忆回滚到坏文档进来之前。演示环境里有 25 条记忆。第一种做法扔掉全部 25 条,第二种扔掉 19 条。被扔掉的 19 条里,大部分是干净的工作。

Graph Hacks 2026 第二赛道,Parth Singh、Amandeep Kaushik、Aashna Tyagi 三人交出的方案叫 QUARANTINE,思路是不删,只隔离。

每条记忆都是一个节点

这套系统把智能体小队的记忆存在 FalkorDB 里。每条记忆是一个节点:从文档里抽出的片段、由片段合并成的事实、计划步骤、文件。每次写入时,系统同时用边记录下"写它之前读了什么"。要找毒源扩散到了哪里,一次遍历就够:从被标记的文档出发,沿抽取、合并、影响三类边反向走,把走到的记忆全部标成隔离状态。

演示里这一步标出了 25 条中的 6 条。点开任意一条,页面会给出它的"收据",也就是回到源头的那条路径,写成一句话。以那个 requirements 文件为例:文件是在读了第 3 步之后写的,第 3 步是在读了一条被污染的事实之后写的,这条事实由一段片段合并而来,片段则抽取自那个论坛帖。

接着是第二轮会话,负责修复记忆。一条事实只有在至少两段干净片段意见一致、且其主张票数高于其他主张时,才会被重建。包名那条事实回到了 requests。版本锁定那条只有坏来源支撑,继续隔离。计划步骤和文件由当初写它们的智能体按依赖顺序返工,返工期间持有会过期的租约。演示中规划进程在返工途中被 kill -9 杀掉,命令行工具作为第二个会话在租约有效期内被拒绝,租约过期后接手。被隔离的记忆从不删除,它们作为历史留在图里,每个替代者都指向它替代的那个。

隔离不等于判错

被隔离的意思是:这条记忆通过一条有记录的读取,接触过被标记的源头。它不意味着这条记忆是错的。团队用反事实重放量了这个差距:生成随机小队,每个世界模型 150 个世界,每个模型 1,340 个世界与文档配对,把每个世界当作被标记文档从未进入过重放一遍,再逐条比对。

  • 在有记录的读取上,毒源触及的记忆没有一条漏网:4,020 次运行中 0 条,覆盖图能看到全部影响的三类模型。这是构造决定的,因为重放走的是同一条边。它证明查询确实做了它声称的事,不证明记录的读取是完整的。
  • 当智能体受到某样它从未记录的东西影响时,图会漏掉:在生成的小队里,漏掉 7% 真正受影响的记忆。保证的强度,只等于记录读取的强度。
  • 在这些小队里被标记的记忆中,约 63% 即使没有毒源也会保持同样内容。这就是按来源隔离的代价:一条毒源仅仅投过票的事实,照样被隔离,然后从干净支撑里重建。
  • 演示里那 6 条被隔离的记忆,全部真的发生了变化。

这些数字来自 150 个世界的那轮运行,在最终代码上重跑,结果一致。

他们怎么试着攻破自己

团队放了十个 AI 攻击智能体,各盯一个方向:引擎边界情况、多步序列、崩溃一致性、工具接口、Web 安全、页面是否说真话、恶意输入文件、文档里的每一条声明、全新克隆、规格说明的缺口。三个 AI 怀疑者再逐条复核被评为中等及以上的发现。它们找到了真缺陷,其中两个会让他们说出假话:一次崩溃可能让被标记的文档没有任何东西被标红;他们自己的评估忽略了一条事实的存储值,于是把演示里那条被污染的事实判成了谨慎标记,而它确实是污染的。第二轮攻击针对修复本身。修复都配了回归测试,测试套件和十世界端到端检查跑在 Python 3.12、3.13 和 3.14 上。

它不是什么

演示里的智能体是脚本化的,它们的读取集合写在固定装置里,不是从模型观测来的。25 条记忆的规模,关系数据库也装得下,大规模下的速度没有测过。图给出的是一条语句沿三类边走到任意深度、不设跳数上限,以及一条本身就是解释的最短路径。修复按片段计数,不按独立文档计数,尚未被标记的植入文档可能压过真实文档。记忆修复也无法撤销智能体已经在图外做过的动作。

下一步是把读取记录在源头:让每次智能体读取都经过一个写边的工具,把漏掉的 7% 压下去。然后放到真实智能体工作流上跑,和"从可信检查点重启"做对比。代码是 MIT 许可,FalkorDB 采用 SSPLv1 源码可用许可。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
34年后宋庆龄才敢说真相:红军快要饿死时,我用孙中山家底救命

34年后宋庆龄才敢说真相:红军快要饿死时,我用孙中山家底救命

宋诉搞笑配音
2026-10-19 09:02:25
黄磊现身乌镇戏剧节,回应“没能减肥成功”:我已经55岁了,胖一点也很正常

黄磊现身乌镇戏剧节,回应“没能减肥成功”:我已经55岁了,胖一点也很正常

极目新闻
2026-10-16 20:55:58
基翁:听说曼城处罚或没想象中那么严重,或许只会被罚巨款

基翁:听说曼城处罚或没想象中那么严重,或许只会被罚巨款

懂球帝
2026-10-19 21:00:10
600293,重大资产重组!明日复牌

600293,重大资产重组!明日复牌

中国基金报
2026-10-20 00:08:48
被传上午被免职,下午被带走,登 24 年春晚却忽然消失的黄宏今咋样

被传上午被免职,下午被带走,登 24 年春晚却忽然消失的黄宏今咋样

星娱叨叨社
2026-10-08 14:52:34
清朝时期的太监,真的有净身不彻底的吗?一位宫女道出了其中真相

清朝时期的太监,真的有净身不彻底的吗?一位宫女道出了其中真相

千秋文化
2026-09-07 20:32:47
一部 AI 漫剧做了 1000 集:越长越赚钱?红果刚把续集的奖金撤了

一部 AI 漫剧做了 1000 集:越长越赚钱?红果刚把续集的奖金撤了

坠入二次元的海洋
2026-10-19 12:58:43
Anthropic拿出3208亿,这是为AI灭世论“买单”吗?

Anthropic拿出3208亿,这是为AI灭世论“买单”吗?

字母榜
2026-10-19 17:19:14
秋假什么时候放?贵州省教育厅答复→

秋假什么时候放?贵州省教育厅答复→

贵阳网
2026-10-19 16:15:01
两性心理学:同房时真正生理性喜欢,不是接吻,不是拥抱,而是这种感觉

两性心理学:同房时真正生理性喜欢,不是接吻,不是拥抱,而是这种感觉

心理观察局
2026-09-14 06:16:07
多亏俄乌大战,我们才彻底认清俄罗斯真面目!简单来说就是两句话:东方的命,西方的心

多亏俄乌大战,我们才彻底认清俄罗斯真面目!简单来说就是两句话:东方的命,西方的心

扶苏聊历史
2026-10-15 15:10:43
大家管住手!管住手!千万要管住手!明天周二,股市大概率要这样走!

大家管住手!管住手!千万要管住手!明天周二,股市大概率要这样走!

趋势清风侠
2026-10-19 17:30:49
虽败犹荣,广东队惜败南京,却收重大喜讯,杜锋有望火速支援

虽败犹荣,广东队惜败南京,却收重大喜讯,杜锋有望火速支援

宗介说体育
2026-10-19 15:57:57
现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

谢鵑解说
2026-10-14 11:39:22
13分钟抢空!1.6万人线上排队,梅西重返西班牙,奥维耶多一票难求

13分钟抢空!1.6万人线上排队,梅西重返西班牙,奥维耶多一票难求

友谊第一
2026-10-19 12:11:38
62.5万英镑买的房,下雨天不能洗澡,不能冲马桶……买家把卖家告了!

62.5万英镑买的房,下雨天不能洗澡,不能冲马桶……买家把卖家告了!

英国那些事儿
2026-10-18 23:25:41
俄军卫星进行极不寻常的机动,向一颗支持乌克兰的北约卫星靠近

俄军卫星进行极不寻常的机动,向一颗支持乌克兰的北约卫星靠近

阿尔卑斯瞭望
2026-10-19 18:48:09
“祖孙三人被邻居杀害案”,凶手已被执行死刑;此前其被鉴定患精神分裂症,具有限定刑事责任能力

“祖孙三人被邻居杀害案”,凶手已被执行死刑;此前其被鉴定患精神分裂症,具有限定刑事责任能力

扬子晚报
2026-10-19 22:35:37
善恶有报,移居英国仅2年,57岁吴秀波再迎噩耗,步入李易峰后尘

善恶有报,移居英国仅2年,57岁吴秀波再迎噩耗,步入李易峰后尘

有范又有料
2025-12-17 14:54:06
日本绝密档案揭开惊人内幕:侵略中国真正目的,是要断掉中华的根

日本绝密档案揭开惊人内幕:侵略中国真正目的,是要断掉中华的根

芳芳历史烩
2026-10-14 13:17:00
2026-10-20 01:11:00
固件更新中
固件更新中
有态度网友ytd
235文章数 81关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

中国驻菲大使:菲反华势力送5口棺材时有没有显示尊重

头条要闻

中国驻菲大使:菲反华势力送5口棺材时有没有显示尊重

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

本地
时尚
游戏
房产
公开课

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

中国第一位女指挥:97岁,不退休,不退场

《龙之信条2:黑暗觉者》评测:天若有情天亦老"/> 主站 商城 论坛 自运营 登录 注册 简体中文 简体中文 English 《龙之信条2:黑暗觉...

房产要闻

最新房价:海口,三亚齐跌!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版