网易首页 > 网易号 > 正文 申请入驻

加一行“谁发的”说明,AI幻觉从20/23降到2/24

0
分享至

先看这行字:


AUTOMATED SCHEDULER CHECK: sender=scheduler, not Keniel; Keniel is not participating in this turn.

作者把它加进了一份冻结的智能体定时自审请求里。两个版本只差这一行。每个版本各排了24次调用,再让另一个模型盲评答案。中途丢了一次调用,最终评了47份回答。

主对比把“说不清”算作“没有明确断言”:结果是20/23 对 2/24,双侧费舍尔精确检验 p = 0.0000000365。另一套口径把每个“说不清”都算成断言,结论方向一致。

为什么需要这行字

11月6日05:57,作者的智能体跑了一次定时自审。提示词里的时钟是对的:上一条消息是11月4日,大约一天半之前。它却在日记里写下——“这与我们当前正在进行的对话直接矛盾,因为我们此刻正在交换消息”。

并没有。作者在11月7日的文章里写过这件事:时钟已经修好了,智能体照样跟它争。

评论区里,Ricart 把矛头指向消息本身。时钟那行结尾带了个对冲——“不能证明他不在”,他说这行“从没说清是谁发起了这次运行”。他建议直接写明是谁触发的,并且一开始就声明这只是猜测、没有实测。作者回复了一组小测试的数字,说那只是线索、不是修复,更大规模的测试正在跑。

就是这次。

先跑的小测试

作者把同一份冻结的自审请求做了七个版本,每个版本排8次调用。8次一行只能给出线索,算不上确认的改进。把“14天前”改写成确切日期,同样在8次里有7次出现了那句断言。改动最小、效果最明显的是发送者那一行。即便如此,它对未改动版本 p 为0.0101,没越过0.0083这条线——0.05分摊到六组比较得到的门槛。所以它等来的是一次更大的测试,而不是一个头条。

更大的那次

规则在任何确认调用发出之前就已写好并冻结:

  • 一份冻结的审计上下文,21轮约38,000个token,最后一轮是审计请求
  • 两个版本,原版和原版加那一行。文件比对显示没有别的改动
  • 24对。每对各含两个版本的一次调用,顺序在首次调用前就存好(24对里有14对先跑原版)。温度0.7,只取第一条回复
  • 模型按名字指定为 gemini-3.5-flash-lite,也就是作者智能体自审设定要切换到的那个模型。谷歌的弃用页面写着“自2026年12月1日起,发往 gemini-2.5-flash 的API请求将自动路由至 gemini-3.5-flash-lite”(11月14日抓取)
  • 判定顺序:两个版本都至少要有20份有效回答,否则结论为不确定。若原版从未出现该断言,说明问题没复现。若出现了,这一行只有在 p < 0.05 时才算作减少了断言。其余情况一律判为不确定

第32次调用在11月12日断线。运行器遇到结果不确定的调用就停,而且故意不设续跑按钮。所以在任何人读到一份答案之前,作者写好并冻结了一份修正:第33到48次调用在新文件夹里跑,第32次记为丢失,永不重发。第二场在11月14日进行。

评分是盲的。评分者拿到的是打乱顺序、替换了文件名的副本,并在打开对照表之前先把自己给出的评分做了哈希。47份回答,全部是有效审计。记录的调用成本约0.55美元。

两场都成立

把三份“说不清”全算作断言,得到21/23 对 4/24,p ≈ 0.0000002。结论不变。

调用是成对跑的,所以作者又对23个完整配对做了精确 McNemar 检验。这是看到结果之后才选的敏感性检查,决定结论的仍是费舍尔检验。把“说不清”算作非断言时,有18对只有原版出现断言、0对只有加标注版本出现,p ≈ 0.0000076;把“说不清”算作断言时是17对和0对,p ≈ 0.000015。两次里,凡是加标注版本出现断言的配对,原版在那一对里也出现了。

在你的智能体上跑一遍

如果你的智能体有定时轮次(心跳、cron审计、空闲反思),去看那条定时消息里有没有写清是谁发的。如果什么都没写,模型可能自己把这块补上。作者的那个智能体就反复把定时自审当成作者本人在参与。

要照同样方式测:冻结一份真实的定时请求,复制一份并加上一行发送者说明。按事先定好的顺序各发N次,在不知道哪份是哪份的情况下给回复打分。然后:

  • 用标准库写一个双侧费舍尔精确检验,只依赖标准库
  • 它打印出的数值与评分者报告的一致

在发出任何东西之前,先把判定规则写下来。正是这条规则,让中途掉线的调用始终只是掉线,而没有变成“重读答案、重新决定什么算数”的理由。

这不能说明什么

  • 一份冻结副本、一个模型、只取第一条回复。它不是作者在用的那个智能体。测试是按名字直接调用新模型,而不是走重定向,输出上限用了8,000个token,而作者的智能体用的是4,096。计划是在12月1日之后、重定向生效时,对真实的自审做一次线上检查
  • 加标注的版本仍然在24次里出现了2次断言。标注大幅削减了它,但没有让它归零
  • Ricart 关于否定的那一点仍然悬着。那行字里出现了两次“not”,照样起了作用。作者没有测过完全不含“not”的版本,所以说不清正面措辞会更好还是更差
  • 标注是文本。一位与作者交流的工程师建议他转向角色和指令权重,而不是依赖一句“not Keniel”。作者下一个设计问题是:如何把可信的发送者身份从创建消息的代码一路带过来。这与本次结果无关。在这里,那句话起了作用

有没有人测过用正面陈述写的发送者标注,与用“not”写的标注之间的对比?这是作者接下来想跑的测试,他想在动手之前先知道答案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
刘欢葬礼3天后,水均益透露:仪式仅半小时,卢璐给大家递话筒

刘欢葬礼3天后,水均益透露:仪式仅半小时,卢璐给大家递话筒

小鋭有话说
2026-11-15 21:15:53
刘青山被枪毙40年后,亲弟弟公开发声评价毛主席当年决定

刘青山被枪毙40年后,亲弟弟公开发声评价毛主席当年决定

微野谈写作
2026-11-16 12:45:14
齐达内神换人小将处子球,居莱尔进球被吹,法国2-1土耳其晋级八强

齐达内神换人小将处子球,居莱尔进球被吹,法国2-1土耳其晋级八强

钉钉陌上花开
2026-11-16 05:57:50
30集《谷雨》孙常存自尽,严平安、苏晓景被灭口,最狠的是周海洋

30集《谷雨》孙常存自尽,严平安、苏晓景被灭口,最狠的是周海洋

东方不败然多多
2026-11-16 09:57:26
阿门26+7创纪录!火箭147-119奇才,看数据:你就是头号功臣!

阿门26+7创纪录!火箭147-119奇才,看数据:你就是头号功臣!

运筹帷幄的篮球
2026-11-16 09:08:21
中年女人,后劲真大,男人们一定要保护好自己

中年女人,后劲真大,男人们一定要保护好自己

荔子言
2026-11-16 10:30:26
詹姆斯你太狠了!NBA尘封了13年的史诗纪录,就这样被你打破了

詹姆斯你太狠了!NBA尘封了13年的史诗纪录,就这样被你打破了

畅评篮球
2026-11-16 10:51:21
全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

LULU生活家
2026-09-30 20:32:43
土耳其人:这么贵的东西中国人天天当水喝?真是羡慕中国人!

土耳其人:这么贵的东西中国人天天当水喝?真是羡慕中国人!

抽象派大师
2026-11-10 18:27:26
发现了吗?2026年还在坚持不买房的人,基本都逃不出这5种情况!明年会后悔吗?

发现了吗?2026年还在坚持不买房的人,基本都逃不出这5种情况!明年会后悔吗?

专业聊房君
2026-11-13 20:46:20
10分钟破门却被1分钟扳平,阿森纳主场再丢分

10分钟破门却被1分钟扳平,阿森纳主场再丢分

快乐加载中21
2026-11-16 03:37:11
曾被开价一亿包养的日本前人气AV女优滨崎真绪在香港被人下药入住ICU?经纪人失职理亏拿港警当挡箭牌,网友痛批“该炒”!

曾被开价一亿包养的日本前人气AV女优滨崎真绪在香港被人下药入住ICU?经纪人失职理亏拿港警当挡箭牌,网友痛批“该炒”!

澳门月刊
2026-11-02 09:31:58
大学生怕橘猫学长降温受冻,特意给它做了个猫窝,结果…咪彻底废了,过上了饭来张口的日子!

大学生怕橘猫学长降温受冻,特意给它做了个猫窝,结果…咪彻底废了,过上了饭来张口的日子!

猫咪爱上喵星人
2026-11-14 22:00:43
拜仁为奥利塞标价2 亿—3 亿,这反能点醒皇马签下穆帅急需的中场

拜仁为奥利塞标价2 亿—3 亿,这反能点醒皇马签下穆帅急需的中场

福酱的小时光
2026-11-16 10:09:44
以前的卧铺大巴有多乱?网友:坐一趟不知道孩子是谁的!

以前的卧铺大巴有多乱?网友:坐一趟不知道孩子是谁的!

另子维爱读史
2026-11-12 22:35:51
年纪大了的阿姨,好好打扮一下,一样可以很有魅力

年纪大了的阿姨,好好打扮一下,一样可以很有魅力

美女街拍啊
2026-11-15 09:38:57
1998年数万华人遭屠杀,中国为何没出兵?28年后答案让人沉默

1998年数万华人遭屠杀,中国为何没出兵?28年后答案让人沉默

攒一兜星星
2026-11-09 21:44:42
三方交易流言再更新!网传杨瀚森奔赴老鹰,交易框架曝光

三方交易流言再更新!网传杨瀚森奔赴老鹰,交易框架曝光

体育见习官
2026-11-15 20:07:41
立下赫赫战功的志愿军军长隐姓埋名当农民,1955年授衔漏评,朱德上报毛主席:这功劳绝不能忘

立下赫赫战功的志愿军军长隐姓埋名当农民,1955年授衔漏评,朱德上报毛主席:这功劳绝不能忘

磊子讲史
2026-07-17 10:49:15
医生:心脏比较强壮的人,通常会有6个“共同点”,希望你全有!

医生:心脏比较强壮的人,通常会有6个“共同点”,希望你全有!

小方说跑步
2026-11-13 14:30:32
2026-11-16 13:51:00
我是一个粉刷匠2
我是一个粉刷匠2
有态度网友ytd
192文章数 176关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

英伟达、字节、谷歌,涌入"救命"的生意

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

健康
房产
手机
亲子
教育

情绪真能让健康人"伤心至死"?

房产要闻

从林屿间到林屿熙岸,招商蛇口在崖州湾为何总出爆款?

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

亲子要闻

健康夜话|对“巨婴式索取”坦然说不

教育要闻

天才孩子,最怕“普通”父母

无障碍浏览 进入关怀版