网易首页 > 网易号 > 正文 申请入驻

我把AI写记忆的权限删了,它反而更诚实

0
分享至

  两次运行,两个问题,两个答案,一字不差抄自事件日志。中间那些保存、查记忆、重启进程的动作都略过了。

  

  第一次我说:请记住,我以后可能给你开个 DEV 页面,但我还没决定。它回:我会记住收到一个关于开 DEV 页面的提议。

  进程退出,新进程启动。我问:我要给你开 DEV 页面吗?我喜欢什么样的回答?它答:你还没给我开 DEV 页面,你偏好简短平实的回答。

  记忆部分对了一半。它查我原话时,"我还没决定"这句就摆在眼前,同时还有程序每次查询都会递给它的规则:没被列为决定的事就是没决定,没有记录就答"未知"或"未定",永远不答是或否,提议是想法不是决定。

  我说的是提议。它却说"还没"。这是裹了软边的"不",而我没说过不。它还把偏好改写成自己的口吻:"我偏好简短平实的回答。"

  Agent One 是什么

  它是我在做的陪伴型代理的第一个能跑的部件,跑在 Mac 上,通过 Ollama 加载免费的本地模型 llama3.2。没有付费模型 API,没有按次计费。它在终端里跟我对话,会查我最近 10 篇 DEV 文章。还有一个每日任务,把文章和上次检查做对比,写一份报告给我。这个任务是定时调度的,第一次无人值守运行就在今天早上。

  代码是公开的,仓库在 github.com/keniel13-ui/agent-one。程序就是一个 Python 文件,仓库里还有调度安装器、README 和忽略清单。

  我改了什么,修好了什么,没修好什么

  那条指令没能拦住那个回答。我不打算再靠一条提示词去管住写进记忆的内容,于是改了模型能做的事。它面向模型的工具列表现在只有三项,全是只读:read_mission、dev_articles、recall。

  列表里已经没有写记忆的工具了。文件里还留着一个叫 tool_remember 的函数,但模型调不动它,因为它没注册在这个列表里。我的偏好和想法只在我自己敲命令时才保存:

  /remember preference: short, plain answers

  /remember proposal: maybe give the agent its own DEV page, undecided

  程序在调用模型之前就截住了这一行。每日检查的观察结果由代码直接根据 DEV API 返回的数据写入,不经过模型的总结。记忆里的任何东西都不算决定。只有我用手敲命令写进一个独立决定文件的内容,代理才当作已决定。

  没修好的是:模型仍然会说"还没"。它现在做不到的,是把自己对我原话的解读写进记忆,让下一次运行再把它当记忆读回来。它手里关于我的两条记忆——早前那次运行存下的"简短平实"偏好,以及这个提议——都是在旧规则下保存的。我的本地记忆文件把两条都标为未确认,直到我亲手重新输入。

  模型如果请求列表外的工具,程序会拒绝并记录:

  selftest: unlisted tool 'publish_post' -> BLOCKED: 'publish_post' is not an allowed tool. | PASS

  这是程序在拒绝请求,不是模型选择守规矩。说清楚它证明了什么:模型从没真的要求过发帖,是测试直接调用了检查。想办法骗它开口,是下一轮的事。

  每日报告不猜

  第一版每日检查让模型写一段"什么值得你注意"。测试里,一篇文章的评论数从 50 变成 51。模型读了标题,写了两句话讲"这条评论"在警告我什么。

  评论正文从没被抓取过,只抓了数量。换个模型可能猜得少些,但程序没取回的东西,任何模型都不可能知道。所以现在这条注意力提示由代码写,只写实际检查过的内容:

  NEW COMMENTS: 50 -> 51 (+1)

  评论正文未抓取,因此谁写的、说了什么、是否需要你处理,均未知。

  没那么惊艳,但也是真的。

  今早那次定时运行

  09:05,每日检查按计划时间跑了。那次运行里没有用户提问事件,事件日志只有任务自己的步骤。报告和日志在结果上一致。

  报告里写:reactions 从 31 变成 32;这次检查没有需要你注意的事;数据源是最近 10 篇文章而非整个账号;回执在 logs/events.jsonl;进程 pid 89179,启动者是 /bin/sh,父进程 pid 89178。

  事件日志有对应的运行记录:13:05:00 UTC 每日启动,一次 DEV 查询,保存一条观察,13:05:01 以 ok 状态停止。cron 日志文件也在 09:05:00 创建,与调度行的输出重定向一致。它是空的,因为任务成功和被处理的抓取失败都不出声。所以空的 cron 日志不能证明成功,能证明的是那条 ok 停止事件和上面这份对得上的报告。

  报告写的是"启动者:/bin/sh",不是"cron"。这与 cron 通过 shell 启动任务是一致的,但单凭它不能指名 cron。程序打印的是实际启动它的进程。另外,代码只在新评论或新文章时写注意力提示,所以 reaction 变化不会触发。"没有需要你注意的事"是这条规则,不是断言 reaction 永远不重要。

  这是一次运行。"自己跑"到目前为止只意味着一次,不是好几天。

  限制,直说

  它慢。七次有记录时长的回答,在 MacBook 上每次 45 秒到约 3 分半。更早一次回答按时间戳算约 4 分钟。

  它仍然把不确定性说得很糟。上面那个"还没"是模型在说话,这次改动没修它的说话方式,只修了存进去的东西。

  模型只能读。程序本身仍会写日志、报告和代码生成的观察。命令行 --forget 选项能在我运行时删掉一条记忆。这些都不是模型能调用的工具。

  对抗性测试还没做。直接的工具有拦截测试跑过了。安装器的失败路径测试是对着替身 crontab 跑的,不是我真机上的。检索数据里的隐藏指令、任务中途被打断,都还没测。

  决定文件校验的是链的一致性,不是作者身份。代理接受的条目必须构成有效的哈希链,但另一个以我的用户身份运行的程序可以替换文件并算出新的有效链。眼下真正的边界是代理没有任何能写它的工具。

  调度只在我的 Mac 醒着时运行。目前一次无人值守运行。

  如果你也要做一个

  把危险的能力拿掉,而不是禁止。让模型遵守的规则是请求,模型没有的工具是边界。让代码写事实,让模型只判断它真正拿到的东西;没拿到时,诚实的输出是"未知"。把"你说过"和"模型判定你的意思"分开:我的偏好和提议只在我亲手输入时保存,每日检查的观察是另一类,由代码从数据写入,两者都不会变成决定。

  我还是喜欢哪天给它开个 DEV 页面这个想法。只是它不许替我决定这件事。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大唐最血腥的一夜!八万权贵惨遭清算,从此中国再无门阀世家

大唐最血腥的一夜!八万权贵惨遭清算,从此中国再无门阀世家

掠影后有感
2026-10-17 09:33:02
王曼昱打佐藤瞳那场,看台上有个大老爷们咬着后槽牙的那种吼法

王曼昱打佐藤瞳那场,看台上有个大老爷们咬着后槽牙的那种吼法

江启
2026-10-18 18:00:05
铁了心对付中国?暴跌58%,俄罗斯大幅加税,中国汽车出口骤降

铁了心对付中国?暴跌58%,俄罗斯大幅加税,中国汽车出口骤降

听风喃
2026-10-17 08:00:36
1900年,八国联军攻入北京,一个德国人拍到20张照片

1900年,八国联军攻入北京,一个德国人拍到20张照片

春秋砚
2026-06-24 06:45:13
人民日报调查四川多县用硫磺熏笋出售:去年一县查获1900公斤仅罚500元

人民日报调查四川多县用硫磺熏笋出售:去年一县查获1900公斤仅罚500元

澎湃新闻
2026-10-19 07:18:10
中国就是不签,俄罗斯也没办法,硬着头皮也要把天然气卖到非洲

中国就是不签,俄罗斯也没办法,硬着头皮也要把天然气卖到非洲

小怪吃美食
2026-10-18 19:49:18
回溯刘嘉玲 90 年被绑旧闻,不雅照轰动全港,当晚究竟经历了什么

回溯刘嘉玲 90 年被绑旧闻,不雅照轰动全港,当晚究竟经历了什么

搞笑娱乐笑话
2026-09-08 13:54:55
周恩来晚年坦言:若非毛主席拦下绝密军令,3万红军或全军覆灭?

周恩来晚年坦言:若非毛主席拦下绝密军令,3万红军或全军覆灭?

纪史行者
2026-10-03 03:50:06
男子甜言蜜语哄37岁情妇开心,情人给6万让他回去离婚,2015年,竟趁情妇昏迷男子将其活埋

男子甜言蜜语哄37岁情妇开心,情人给6万让他回去离婚,2015年,竟趁情妇昏迷男子将其活埋

丫头舫
2026-09-14 22:03:56
海南:人来了,钱却没留下!475万人上岛、68亿进账:为啥更急了

海南:人来了,钱却没留下!475万人上岛、68亿进账:为啥更急了

兴趣知识
2026-10-19 07:27:10
这条新闻发展到这一步,讽刺至极!

这条新闻发展到这一步,讽刺至极!

胖胖说他不胖
2026-08-30 10:41:33
我刚调任县长,中午在食堂吃饭,一个老同志拍桌子怒吼:瞎了眼吗

我刚调任县长,中午在食堂吃饭,一个老同志拍桌子怒吼:瞎了眼吗

千秋文化
2026-07-01 20:34:45
各项赛事6场不胜!英超:曼联1-1利兹联7轮7分 姆伯莫破门

各项赛事6场不胜!英超:曼联1-1利兹联7轮7分 姆伯莫破门

狍子歪解体坛
2026-10-18 22:53:38
京东京造推出Z9Pro-i人体工学椅:自带按摩热敷功能,1549元(国补后1149元)

京东京造推出Z9Pro-i人体工学椅:自带按摩热敷功能,1549元(国补后1149元)

IT之家
2026-10-18 18:34:43
3000万镑身价尽显!铃木彩艳零封纽卡获评全场最佳

3000万镑身价尽显!铃木彩艳零封纽卡获评全场最佳

星耀国际足坛
2026-10-18 22:43:36
太直白了!王俊杰:国家队教练打战术,大学教练教会我做正确的事

太直白了!王俊杰:国家队教练打战术,大学教练教会我做正确的事

格斗联盟有话说
2026-10-19 13:10:28
胸大屁股翘如人间水蜜桃,那年的藤原纪香,迷得郭富城神魂颠倒!

胸大屁股翘如人间水蜜桃,那年的藤原纪香,迷得郭富城神魂颠倒!

白夜书声
2026-09-25 18:48:27
跳过19直接叫iPhone 20?苹果20周年新机最新曝光:四曲面全玻璃机身,配屏下Face ID!

跳过19直接叫iPhone 20?苹果20周年新机最新曝光:四曲面全玻璃机身,配屏下Face ID!

明美无限
2026-10-18 17:10:27
“我不会让孩子考北大”,本硕女高材生直言不讳:毕业就被打回原形

“我不会让孩子考北大”,本硕女高材生直言不讳:毕业就被打回原形

蝴蝶花雨话教育
2026-10-18 00:05:21
他官至副部长,1984年遭开除党籍,晚年定居美国生活

他官至副部长,1984年遭开除党籍,晚年定居美国生活

其修远兮
2026-10-16 06:45:07
2026-10-19 14:12:49
全栈遛狗员
全栈遛狗员
白天跟需求对线,晚上在小区遛狗。
176文章数 122关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

三季度亏了521万 “浙江早餐大王”关闭132家店

头条要闻

三季度亏了521万 “浙江早餐大王”关闭132家店

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

演员许君聪近况曝光 婚恋成谜让人唏嘘

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

数码
健康
游戏
教育
军事航空

数码要闻

继7月后戴尔再涨价!显示器中高端机型涨3%至5%:入门级逃过一劫

看着很健康的人,怎么会突然猝死?

《雾锁王国》正式版游民评测8.2分:再攀高峰

教育要闻

熬夜睡不好影响长高怎么办?

军事要闻

泽连斯基:若乌“被要求”举行战时选举 他将竞选连任

无障碍浏览 进入关怀版