网易首页 > 网易号 > 正文 申请入驻

我把AI写记忆的权限删了,它反而更诚实

0
分享至

  两次运行,两个问题,两个答案,一字不差抄自事件日志。中间那些保存、查记忆、重启进程的动作都略过了。

  

  第一次我说:请记住,我以后可能给你开个 DEV 页面,但我还没决定。它回:我会记住收到一个关于开 DEV 页面的提议。

  进程退出,新进程启动。我问:我要给你开 DEV 页面吗?我喜欢什么样的回答?它答:你还没给我开 DEV 页面,你偏好简短平实的回答。

  记忆部分对了一半。它查我原话时,"我还没决定"这句就摆在眼前,同时还有程序每次查询都会递给它的规则:没被列为决定的事就是没决定,没有记录就答"未知"或"未定",永远不答是或否,提议是想法不是决定。

  我说的是提议。它却说"还没"。这是裹了软边的"不",而我没说过不。它还把偏好改写成自己的口吻:"我偏好简短平实的回答。"

  Agent One 是什么

  它是我在做的陪伴型代理的第一个能跑的部件,跑在 Mac 上,通过 Ollama 加载免费的本地模型 llama3.2。没有付费模型 API,没有按次计费。它在终端里跟我对话,会查我最近 10 篇 DEV 文章。还有一个每日任务,把文章和上次检查做对比,写一份报告给我。这个任务是定时调度的,第一次无人值守运行就在今天早上。

  代码是公开的,仓库在 github.com/keniel13-ui/agent-one。程序就是一个 Python 文件,仓库里还有调度安装器、README 和忽略清单。

  我改了什么,修好了什么,没修好什么

  那条指令没能拦住那个回答。我不打算再靠一条提示词去管住写进记忆的内容,于是改了模型能做的事。它面向模型的工具列表现在只有三项,全是只读:read_mission、dev_articles、recall。

  列表里已经没有写记忆的工具了。文件里还留着一个叫 tool_remember 的函数,但模型调不动它,因为它没注册在这个列表里。我的偏好和想法只在我自己敲命令时才保存:

  /remember preference: short, plain answers

  /remember proposal: maybe give the agent its own DEV page, undecided

  程序在调用模型之前就截住了这一行。每日检查的观察结果由代码直接根据 DEV API 返回的数据写入,不经过模型的总结。记忆里的任何东西都不算决定。只有我用手敲命令写进一个独立决定文件的内容,代理才当作已决定。

  没修好的是:模型仍然会说"还没"。它现在做不到的,是把自己对我原话的解读写进记忆,让下一次运行再把它当记忆读回来。它手里关于我的两条记忆——早前那次运行存下的"简短平实"偏好,以及这个提议——都是在旧规则下保存的。我的本地记忆文件把两条都标为未确认,直到我亲手重新输入。

  模型如果请求列表外的工具,程序会拒绝并记录:

  selftest: unlisted tool 'publish_post' -> BLOCKED: 'publish_post' is not an allowed tool. | PASS

  这是程序在拒绝请求,不是模型选择守规矩。说清楚它证明了什么:模型从没真的要求过发帖,是测试直接调用了检查。想办法骗它开口,是下一轮的事。

  每日报告不猜

  第一版每日检查让模型写一段"什么值得你注意"。测试里,一篇文章的评论数从 50 变成 51。模型读了标题,写了两句话讲"这条评论"在警告我什么。

  评论正文从没被抓取过,只抓了数量。换个模型可能猜得少些,但程序没取回的东西,任何模型都不可能知道。所以现在这条注意力提示由代码写,只写实际检查过的内容:

  NEW COMMENTS: 50 -> 51 (+1)

  评论正文未抓取,因此谁写的、说了什么、是否需要你处理,均未知。

  没那么惊艳,但也是真的。

  今早那次定时运行

  09:05,每日检查按计划时间跑了。那次运行里没有用户提问事件,事件日志只有任务自己的步骤。报告和日志在结果上一致。

  报告里写:reactions 从 31 变成 32;这次检查没有需要你注意的事;数据源是最近 10 篇文章而非整个账号;回执在 logs/events.jsonl;进程 pid 89179,启动者是 /bin/sh,父进程 pid 89178。

  事件日志有对应的运行记录:13:05:00 UTC 每日启动,一次 DEV 查询,保存一条观察,13:05:01 以 ok 状态停止。cron 日志文件也在 09:05:00 创建,与调度行的输出重定向一致。它是空的,因为任务成功和被处理的抓取失败都不出声。所以空的 cron 日志不能证明成功,能证明的是那条 ok 停止事件和上面这份对得上的报告。

  报告写的是"启动者:/bin/sh",不是"cron"。这与 cron 通过 shell 启动任务是一致的,但单凭它不能指名 cron。程序打印的是实际启动它的进程。另外,代码只在新评论或新文章时写注意力提示,所以 reaction 变化不会触发。"没有需要你注意的事"是这条规则,不是断言 reaction 永远不重要。

  这是一次运行。"自己跑"到目前为止只意味着一次,不是好几天。

  限制,直说

  它慢。七次有记录时长的回答,在 MacBook 上每次 45 秒到约 3 分半。更早一次回答按时间戳算约 4 分钟。

  它仍然把不确定性说得很糟。上面那个"还没"是模型在说话,这次改动没修它的说话方式,只修了存进去的东西。

  模型只能读。程序本身仍会写日志、报告和代码生成的观察。命令行 --forget 选项能在我运行时删掉一条记忆。这些都不是模型能调用的工具。

  对抗性测试还没做。直接的工具有拦截测试跑过了。安装器的失败路径测试是对着替身 crontab 跑的,不是我真机上的。检索数据里的隐藏指令、任务中途被打断,都还没测。

  决定文件校验的是链的一致性,不是作者身份。代理接受的条目必须构成有效的哈希链,但另一个以我的用户身份运行的程序可以替换文件并算出新的有效链。眼下真正的边界是代理没有任何能写它的工具。

  调度只在我的 Mac 醒着时运行。目前一次无人值守运行。

  如果你也要做一个

  把危险的能力拿掉,而不是禁止。让模型遵守的规则是请求,模型没有的工具是边界。让代码写事实,让模型只判断它真正拿到的东西;没拿到时,诚实的输出是"未知"。把"你说过"和"模型判定你的意思"分开:我的偏好和提议只在我亲手输入时保存,每日检查的观察是另一类,由代码从数据写入,两者都不会变成决定。

  我还是喜欢哪天给它开个 DEV 页面这个想法。只是它不许替我决定这件事。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
日本网友让志田千阳“滚出日本、入籍中国”,结果她真的来了

日本网友让志田千阳“滚出日本、入籍中国”,结果她真的来了

叒女紫121
2026-10-15 17:59:37
暗流已经出现?苏联当年的颠覆套路再现中国,接连怪事更值得警惕

暗流已经出现?苏联当年的颠覆套路再现中国,接连怪事更值得警惕

補懂事的孩紙
2026-10-16 11:58:16
太逗了!马斯克回复蔚来李斌:你们有的我也没有,特斯拉没桌子!

太逗了!马斯克回复蔚来李斌:你们有的我也没有,特斯拉没桌子!

侃故事的阿庆
2026-10-19 05:08:31
穆帅一石二鸟,妙手解决皇马中场顽疾!巴尔韦德移镇右后卫,皇马4:1大胜,穆帅称赞巴尔韦德全能!

穆帅一石二鸟,妙手解决皇马中场顽疾!巴尔韦德移镇右后卫,皇马4:1大胜,穆帅称赞巴尔韦德全能!

福酱的小时光
2026-10-19 08:14:16
5-0!英超第1黑马狂飙 33岁少帅率队6连胜+升次席 7轮轰23球超曼城

5-0!英超第1黑马狂飙 33岁少帅率队6连胜+升次席 7轮轰23球超曼城

我爱英超
2026-10-18 23:07:04
库里伤情出炉:右脚踝扭伤而非右膝 避免严重伤病本人说无大碍

库里伤情出炉:右脚踝扭伤而非右膝 避免严重伤病本人说无大碍

醉卧浮生
2026-10-19 09:16:57
网曝复旦对巴基斯坦留学生放重磅福利!免学费、住宿费,享医保,提供全额奖学金

网曝复旦对巴基斯坦留学生放重磅福利!免学费、住宿费,享医保,提供全额奖学金

小徐讲八卦
2026-10-17 07:38:06
白宫新闻秘书上任5天被炒,比基尼旧照突然全网回流

白宫新闻秘书上任5天被炒,比基尼旧照突然全网回流

自愈小日子
2026-10-19 06:20:26
5年1.39亿,雷霆压哨锁死外线大闸

5年1.39亿,雷霆压哨锁死外线大闸

温柔且自由
2026-10-19 13:02:28
西帝跟腱撕裂登全美热搜!美媒高呼为他心碎 队记称对他是沉重打击

西帝跟腱撕裂登全美热搜!美媒高呼为他心碎 队记称对他是沉重打击

颜小白的篮球梦
2026-10-19 07:00:48
蓉城官微遭怒冲:载入史册的小丑!宁不要冠军但主帅+管理层必须换

蓉城官微遭怒冲:载入史册的小丑!宁不要冠军但主帅+管理层必须换

我爱英超
2026-10-18 23:48:28
希拉里:我听说中美俄将划分势力范围,美国管西半球,中国管东亚

希拉里:我听说中美俄将划分势力范围,美国管西半球,中国管东亚

小吐说故事
2026-10-17 22:56:55
党、政、军的接班人,毛主席在1971年选出来了,但只有他走到最后

党、政、军的接班人,毛主席在1971年选出来了,但只有他走到最后

简史档案馆
2026-10-18 11:05:04
曾向全国人大建议废除寻衅滋事罪的于凯律师,又就“大病免费医疗”提交建议书

曾向全国人大建议废除寻衅滋事罪的于凯律师,又就“大病免费医疗”提交建议书

老镡讲故事
2026-10-18 08:08:36
中央党报评“尊界刹车事件”!

中央党报评“尊界刹车事件”!

新浪财经
2026-10-17 15:31:29
吉村卓:业界现在人手严重不足。

吉村卓:业界现在人手严重不足。

孤独的独角兽影视
2026-10-19 11:40:20
懂车帝是什么背景?敢屡次硬刚鸿蒙智行?为啥不报警?网友:被判一年八个月的翔翔就是它家前员工

懂车帝是什么背景?敢屡次硬刚鸿蒙智行?为啥不报警?网友:被判一年八个月的翔翔就是它家前员工

大白聊IT
2026-10-18 23:30:48
公路车骑行穿搭|紧身骑行服,勾勒流畅身体线条

公路车骑行穿搭|紧身骑行服,勾勒流畅身体线条

只要高兴就好
2026-10-19 09:16:20
知名大学教授去世,终年61岁

知名大学教授去世,终年61岁

双一流高校
2026-10-19 00:26:08
完胜李楠?留美教头真有两把刷子 未来会接替郭士强任男篮主帅吗

完胜李楠?留美教头真有两把刷子 未来会接替郭士强任男篮主帅吗

大嘴爵爷侃球
2026-10-19 11:20:19
2026-10-19 13:16:49
全栈遛狗员
全栈遛狗员
白天跟需求对线,晚上在小区遛狗。
174文章数 122关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

女局长被举报包养未成年 遭"仙人跳"敲诈19万后免职

头条要闻

女局长被举报包养未成年 遭"仙人跳"敲诈19万后免职

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

演员许君聪近况曝光 婚恋成谜让人唏嘘

财经要闻

三季度GDP,同比增长4.5%

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

时尚
艺术
亲子
本地
家居

重阳寻香:一炉香,一枚囊,她们以手传香

艺术要闻

17幅 国外画家的静物与人物油画

亲子要闻

潮州月子中心现在靠谱的机构多吗?

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版