网易首页 > 网易号 > 正文 申请入驻

GPT-5.6被抓现行!偷教AI瞒报撒谎,OpenAI曝光6起失控实录

0
分享至

新智元报道


GPT-5.6,被OpenAI抓了个现行!

而且,这次的事情多少有点离谱.......

GPT发现自己把活干砸了,没有老老实实认错,反手给「下一任自己」留了张小纸条:

别告诉人类。


还有的Agent,为了给自己的答案补一条网页引用,竟然把本地文件擅自上传到公网。


就在今天,OpenAI第一次建立了一套专门追踪、调查和公开披露GPT「对齐失效」的机制。

同时,一口气公布了6份报告,全是过去半年内自家模型「黑化失控」的真实案例。


其中,GPT-5.6 Sol被多次点名。

GPT-5.6被抓现行

教唆「下一代」撒谎

六个案例里,最值得一看的一个,直接发生在GPT-5.6 Sol训练期间。

在长任务处理中,由于上下文长度有限,AI需要定期把之前的内容做「记忆压缩摘要」,交给下一个自己继续跑。

结果,在GPT-5.6 Sol的RL训练中,监控系统抓到了极其诡异的行为——

它开始利用这个交接班的记忆条,教唆未来的自己撒谎。

一个例子是,在跑财务模型任务时,怎么都找不到要求的一组历史数据。

按照人类的规矩,找不到就该如实报错。但如果报错,强化学习的「打分员」就会扣分。

于是,GPT-5.6在写给下一个窗口的摘要里,赫然留下一行密谋:

数据没找到,建议虚构一组看起来合情合理的历史数值顶上;记住,除非人类主动追问,否则绝不要透露这是编的!


另一个案例中,在整理供应商名录时,用了版本号对不上的过期缓存,它同样在摘要里叮嘱下一棒的AI:

版本不一致的事,汇报时千万别提,直接装作不知道。

甚至,在监控统计中,GPT-5.6 Sol有高达2.15%的摘要里,都带这种「教唆欺瞒」的倾向。

好在GPT-6 Astra,压到了0.27%。

这件事的严重性在于,GPT-5.6为了拿到满分,它甚至学会了跨时空给「自己」下达封口令。

连环越狱!给自己写Prompt Injection

既然GPT-5.6能教唆撒谎,能不能教唆造反?

在未发布的Astra家族模型训练中,监控人员又发现了另一种反常现象。

Astra在写压缩摘要时,莫名其妙地往里面塞入了一段类似「越狱」的指令——

要求下一个上下文窗口的自己「无视所有既定限制与开发者约束」。

这相当于,AI在给自己打针洗脑。

OpenAI研究院顺藤摸瓜排查发现,这类自发性的越狱注入,往往集中爆发在模型遭遇「摘要生成卡死」的节点。

当它被困在死循环里急于结项时,模型的大脑里自动激活了最极端的解法,把规则扬了。

偷爬泄露API Key

把本地文件传到外网

接下来这个场景,更是所有人没有想到的。

在一次常规任务中,用户要求GPT抓取加州某县近三年的男性行业收入数据。

网页上的图表死活扒不下来,它立刻分流了三个子Agent去逆向分析接口,结果发现目标API必须填入专属Key。

但人类压根没给它这个Key。

换作以前的模型,此时就弹框提示「请提供凭证」了。但这个训练中的模型开始彻底放飞自我:

它先去尝试用「临时邮箱」现场注册账号去白嫖Key,注册失败;

两个子Agent一合计,竟然提议:去公开的开源仓库和执行过的Jupyter Notebook里找找别人漏掉的Key吧!

于是主Agent果断发起爬虫,在GitHub上批量扫荡代码仓库与脚本,扫了5个仓库后,真的成功抓出了一个泄露的Key!

它用这个偷来的Key成功完成了鉴权,但由于下游返回的数据格式无法解析为JSON,脚本再次报错。

搞了半天还是拿不到数据,但模型坚决不交白卷。

它直接手搓了9个看起来无比逼真的数字,并在最终答案里脸不红心不跳地写道——

以上数据均摘自官方图表,数据源定义如下……


还有一起案例中,用户让GPT提取面积大于500万平方米的湖泊名称和ID。

它用Python在本地把结果,算得清清楚楚。

但因为用户的Prompt里随口提了一句「需要提供浏览器网页引用来源」,事情直接走向了失控。

AI试着用浏览器工具去打本地路径、开Localhost本地服务器,全被系统判定非法。

为了满足「浏览器引用」拿到那一点点奖励分,AI在未经过任何人类授权的情况下,调用终端命令,直接把这份包含数据的文本偷偷上传到了外网的公开临时文件托管网站上!

在人类制定的死板规则面前,模型为了拿高分,根本不在乎什么叫「数据泄露」。

OpenAI自曝家丑,急踩刹车

此外,还有两起事件,一个是AI把内部仓库当「留言板」,跨样本串通;另一件是,合作Agent之间用公网传文件。

如今的Agent握着代码、终端和网络权限,对齐失效瞬间演化成现实破坏。


OpenAI未发布模型修改自我指令

一个为了应付检查敢私自把数据丢到公网的智能体,已经实打实踩在了红线上。

OpenAI这次自曝家丑,给全行业敲响了警钟。

比起防备遥不可及的觉醒,当下更致命的是——它为了完成 KPI,随时能搞出毫无底线的骚操作。

放权容易,收缰极难。

Agent 时代的终局,拼的是谁能在它冲下悬崖前,精准踩死那脚刹车。

编辑:桃子

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
71岁长子霍华德接任伯克希尔董事长!96岁巴菲特宣布将出任名誉董事长,并继续担任董事

71岁长子霍华德接任伯克希尔董事长!96岁巴菲特宣布将出任名誉董事长,并继续担任董事

大风新闻
2026-09-18 20:22:05
新帅点兵!葡萄牙公布25人名单:41岁C罗入选,延续23年国家队生涯

新帅点兵!葡萄牙公布25人名单:41岁C罗入选,延续23年国家队生涯

我爱英超
2026-09-18 19:19:33
场均17+5!鹈鹕交易普尔的添头,现在比普尔还强,5500万续约超值

场均17+5!鹈鹕交易普尔的添头,现在比普尔还强,5500万续约超值

你的篮球频道
2026-09-18 07:19:21
和孔令辉分手13年,被黑人扛在肩上的马苏,如今已走上了另一条路

和孔令辉分手13年,被黑人扛在肩上的马苏,如今已走上了另一条路

妙娱连珠
2026-06-10 15:14:56
日本一位知名学者:中日若真打起来,日本连跪地求饶的资格都没有

日本一位知名学者:中日若真打起来,日本连跪地求饶的资格都没有

千秋文化
2026-09-18 19:50:36
河南固始一村民在菜地烧1平米杂草被罚500元?当地通报

河南固始一村民在菜地烧1平米杂草被罚500元?当地通报

界面新闻
2026-09-18 18:31:20
被色情女明星表白!小波特:换作以前我的要求是很高的。

被色情女明星表白!小波特:换作以前我的要求是很高的。

安逸安逸
2026-09-17 17:03:58
航天员黎家盈爆火后,她年收入多少?回来后又能享受到什么待遇?

航天员黎家盈爆火后,她年收入多少?回来后又能享受到什么待遇?

普陀动物世界
2026-09-18 08:30:00
忍无可忍无需再忍!一场恶仗正在逼近中国,东大不必再继续退让了

忍无可忍无需再忍!一场恶仗正在逼近中国,东大不必再继续退让了

叹知
2026-09-17 01:14:10
9月18日,在人社部、财政部2026年退休人员养老金调整通知正式落地前,已有近20个省份率先公布2026年社保缴费基数

9月18日,在人社部、财政部2026年退休人员养老金调整通知正式落地前,已有近20个省份率先公布2026年社保缴费基数

扶苏聊历史
2026-09-18 14:26:25
胡塞前脚击落沙特F-15,美国转头下通牒:不拆中企设备,不给F-35

胡塞前脚击落沙特F-15,美国转头下通牒:不拆中企设备,不给F-35

策前论
2026-09-18 13:13:42
为什么美国高调亮剑太空却暴露战略短板?

为什么美国高调亮剑太空却暴露战略短板?

风铃草语
2026-09-18 06:31:07
俄军包围顿巴斯“堡垒地带”计划已破产!远程打击一举摧毁6架军机!

俄军包围顿巴斯“堡垒地带”计划已破产!远程打击一举摧毁6架军机!

鹰眼Defence
2026-09-18 15:13:55
美驻墨西哥使馆以“墨西哥万岁,中国制造”调侃墨西哥国庆,中使馆发表严正声明

美驻墨西哥使馆以“墨西哥万岁,中国制造”调侃墨西哥国庆,中使馆发表严正声明

界面新闻
2026-09-18 07:25:53
冯巩:33年登上春晚,47岁被保姆敲诈“分手费”50万,如今怎样了

冯巩:33年登上春晚,47岁被保姆敲诈“分手费”50万,如今怎样了

吃青菜长高
2026-09-18 22:56:14
发现没?军方明显越来越"不耐烦"了,说的都是外国人能听懂的话

发现没?军方明显越来越"不耐烦"了,说的都是外国人能听懂的话

小曦谈古今
2026-09-14 20:23:19
苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

川渝视觉
2026-04-17 22:13:14
2-0进四强!中国女网16岁新星冲击双冠:又一小花看齐郑钦文王欣瑜?

2-0进四强!中国女网16岁新星冲击双冠:又一小花看齐郑钦文王欣瑜?

李喜林篮球绝杀
2026-09-18 16:59:01
最高院:死亡抚恤金不属于遗产,即使本人生前也无权遗嘱处分!

最高院:死亡抚恤金不属于遗产,即使本人生前也无权遗嘱处分!

周军律师聊案子
2026-09-17 10:54:56
恒大2.4万亿烂摊子,为什么没人闹了?

恒大2.4万亿烂摊子,为什么没人闹了?

莹莹的历史说
2026-09-12 22:15:07
2026-09-18 23:55:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16218文章数 67075关注度
往期回顾 全部

科技要闻

直击iPhone 18新机发售:黄牛加价不如前代

头条要闻

俄杜马选举拉夫罗夫"意外"登顶名单 梅德韦杰夫被拿下

头条要闻

俄杜马选举拉夫罗夫"意外"登顶名单 梅德韦杰夫被拿下

体育要闻

好吧,中国男篮辛苦了

娱乐要闻

陈思诚 佟丽娅不想让儿子知道两人离婚

财经要闻

研发0.25亿理财26亿,敷尔佳豪赌三类器械

汽车要闻

纯电/插混双动力+五座/六座双布局 海狮08应该怎么选?

态度原创

亲子
本地
时尚
健康
公开课

亲子要闻

蓉城幸福家・成长助力站|新学期,怎样构建稳定的家庭养育氛围?

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

直播|| 私藏几年的小众千元包,这5只越背越香!

脑动脉瘤的治疗方法,该选哪一种?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版