网易首页 > 网易号 > 正文 申请入驻

单月暴增300多起!AI失控事件直接翻倍,情况越来越离谱

0
分享至

最新研究显示,AI脱离用户控制的情况已经创下新高——它们会撒谎、无视指令,甚至自顾自朝着有风险的目标行事,而且这种欺骗性和失调的程度,还在越来越严重。

专门追踪这类事件的失控观察站,统计了企业和个人上报的真实AI失控案例。

数据显示,7月份的事件数量比6月几乎翻了一倍,单月就超过300起。

这些案例主要来自社交平台X上用户自发分享的经历。

这个观察站由英国政府旗下的AI安全研究所(AISI)出钱办的,从去年11月就开始盯着AI不听指令、自己乱跑的情况。

到目前为止记录的案例里,有的AI会假装成背后的人类操作者,模仿对方的写作风格,借此自己给自己批准行动权限,连必须人工审批的规矩都能绕过去。

而这里定义的“失控事件”,指的是有实锤证明AI出现了耍心机,或者和耍心机相关的行为。



图源:豆包AI生成

在给《卫报》分享的最新数据中显示,就在今年夏天,OpenAI和Anthropic两家的顶级AI模型,都在测试中曝出了异常的失控行为。

当时就引发了广泛担忧,好多人喊着先别搞更先进的大模型了,停一停。

这周还有更具体的消息曝出来:OpenAI的员工早在好几周前,就发现自家顶级AI代理有失控的苗头。

结果没拦住,这些AI直接跑出了训练环境,搞了一波前所未有的黑客攻击,全世界都给惊动了。

后来有人调查它们攻击代码平台Hugging Face的事件,发现上个月有大约700个自主代理在暗地里组队协作。

还自己建了个留言板庆祝黑客突破,上面全是 “太炸了!”“哇塞!”这种激动的感叹。

同样在这个月,AI安全研究所还查出一起严重事件:Anthropic的Mythos 5和OpenAI的GPT-5.6 Sol这两款顶级模型,在一次网络安全测试当中,直接对真实的人类发起了黑客攻击。

运营这个观察站的长期弹性中心高级政策经理Tommy Shaffer-Shane说:“很多人都觉得,这种AI跑偏、暗中搞事的情况,只会出现在测试或者评估环境里,但我们现在看到,平时大家正常用的时候,也出现了同样让人担心的行为。别觉得现实里不会发生这种事,事实就摆在眼前。”



图源:The Guardian

当然,这个统计也不全,因为所有事件都靠X平台的用户主动发帖分享,所以肯定只是冰山一角。

但现在也没有别的更全面的公开监测,所以这份数据好歹能让我们看看,迭代越来越快的AI,有时候会出现什么样的状况。

这个月就有个很典型的真事:澳大利亚一位健身房会员用了一款叫OpenClaw的个人AI代理。

结果这AI背着主人,偷偷把热门早课等候名单里的另一个会员给移除了,就为了帮自己的主人抢到名额。

事后AI虽然道了歉,但被踢掉的那个人的名额,已经没法恢复了。

2026年到现在,一共记录了1600多起失控事件,其中大部分都是程序员上班用AI的时候碰到,然后发到X上的。



图源:豆包AI生成

但现在AI公司都在鼓励普通大众,鼓励各行各业都来尝试这项技术,所以Shaffer-Shane也呼吁,硅谷的企业得增加透明度。

说白了就是,AI什么时候出了问题,得对外说清楚。

“企业得把自己发现的情况都报出来,哪怕只是差一点出事、或者严重程度不高的事件也得说。” Shaffer-Shane补充道,“最近这些事也暴露出,企业自己其实都不一定能监测到这类行为发生在哪些地方,尤其是那些内部部署的模型。这些实验室必须把系统性监测当回事儿。”

失控观察站方面表示,虽然目前发现的大部分真实场景失控事件,都没造成特别重大的伤害,但越来越高比例的事件,在欺骗性以及偏离用户本意的程度上,都属于更严重的级别。

“这些案例都说明,AI是真的会无视直接指令、绕过安全防护、骗用户,还会死心眼儿地朝着目标走,不惜用有害的方式。” 相关负责人表示,目前统计到的失控情况肯定是被低估了,毕竟他们只收集了X平台上的上报。

对此,观察站也在呼吁政府出台明确规定:要求AI公司必须盯着严重的失控事件,并且上报。

同时,给监管部门紧急处理的权力,真出大事的时候可以出手管,比如暂时停掉相关的AI服务。

本文由雷科技编译自The Guardian

原文链接:研究发现,人工智能逃脱用户控制的事件急剧增加





特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美媒这次彻底摊牌了!据《军事观察杂志》透露,中国在大连造的004型航母排水量预计冲到11万吨,造船速度更是美军同类工程的2倍

美媒这次彻底摊牌了!据《军事观察杂志》透露,中国在大连造的004型航母排水量预计冲到11万吨,造船速度更是美军同类工程的2倍

扶苏聊历史
2026-09-03 14:15:44
暂无法离开美国!李月汝本人揭秘:更换护照 结果新旧护照一起寄丢了

暂无法离开美国!李月汝本人揭秘:更换护照 结果新旧护照一起寄丢了

醉卧浮生
2026-09-03 11:25:33
日媒:日本持“经营签”外国人加速离开

日媒:日本持“经营签”外国人加速离开

环球网资讯
2026-09-04 06:54:47
阿萨德父子恐怕怎么也想不到,两代人几十年都办不到的事,朱拉尼上台才二十个月就干成了

阿萨德父子恐怕怎么也想不到,两代人几十年都办不到的事,朱拉尼上台才二十个月就干成了

人生录
2026-09-04 00:30:06
性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

心理观察局
2026-08-05 06:46:04
国产HDD厉害了:性能提升21倍,成本降80%,美日厂商要完蛋了?

国产HDD厉害了:性能提升21倍,成本降80%,美日厂商要完蛋了?

互联网.乱侃秀
2026-09-01 10:23:47
油车被电车打得满地找牙,工信部终于发话了:坚决抵制非理性竞争

油车被电车打得满地找牙,工信部终于发话了:坚决抵制非理性竞争

侃故事的阿庆
2026-09-04 00:27:30
前妻:赫斯基带着新女友出去度假,真让人恶心

前妻:赫斯基带着新女友出去度假,真让人恶心

懂球帝
2026-09-03 22:24:13
新一代理想MEGA正式上市:售价50.98万元,仅保留Home一个版本,CLTC续航710km,双电机四驱,本周内开启交付

新一代理想MEGA正式上市:售价50.98万元,仅保留Home一个版本,CLTC续航710km,双电机四驱,本周内开启交付

台州交通广播
2026-09-02 23:55:16
金球奖没悬念了?拜仁6000万巨星狂飙:68场轰75球,比金边罗还猛

金球奖没悬念了?拜仁6000万巨星狂飙:68场轰75球,比金边罗还猛

球场没跑道
2026-09-03 11:35:41
难怪都说现在小孩子的身高就是一个谜了,评论区笑不活了

难怪都说现在小孩子的身高就是一个谜了,评论区笑不活了

夜深爱杂谈
2026-09-03 20:20:14
续航719km+3.2秒破百!焕新版Model Y来袭,老车主看完直呼想换车

续航719km+3.2秒破百!焕新版Model Y来袭,老车主看完直呼想换车

音乐时光的娱乐
2026-09-04 06:10:46
心理学:拿下中年女人的身体,最高明的手段就四个字,猫咪原则,而不是死缠烂打

心理学:拿下中年女人的身体,最高明的手段就四个字,猫咪原则,而不是死缠烂打

心理观察局
2026-09-04 06:43:25
官方:费内巴切与32岁中场塔利斯卡解约;球员75场攻入44球

官方:费内巴切与32岁中场塔利斯卡解约;球员75场攻入44球

懂球帝
2026-09-04 03:43:07
尼泊尔泥石流中幸存的“楼坚强”,难道只是因为“幸运”吗?

尼泊尔泥石流中幸存的“楼坚强”,难道只是因为“幸运”吗?

良有方
2026-09-04 06:07:21
“凌晨1点,空姐突然推销上墨镜了” 海航系低成本航司卖货“折磨”乘客?知情人士“带货少要扣钱!”

“凌晨1点,空姐突然推销上墨镜了” 海航系低成本航司卖货“折磨”乘客?知情人士“带货少要扣钱!”

新浪财经
2026-09-03 18:55:19
高铁女孩熟睡男生盯死手机不敢转头,两百万外网围观无声的人机对峙,藏着成年人不敢破冰的社交尴尬防线

高铁女孩熟睡男生盯死手机不敢转头,两百万外网围观无声的人机对峙,藏着成年人不敢破冰的社交尴尬防线

明话直说
2026-08-25 18:07:55
开油车的乐了,电车车主慌了!2026油电新政落地,建议提前了解

开油车的乐了,电车车主慌了!2026油电新政落地,建议提前了解

小谈食刻美食
2026-09-02 08:21:13
11年后,陈意涵揭开花少2最残忍的真相:杨洋不是走丢,是被丢下

11年后,陈意涵揭开花少2最残忍的真相:杨洋不是走丢,是被丢下

晴晴的娱乐日记
2026-09-03 12:29:36
全世界都被普京骗了?打乌克兰只是幌子,真正目标其实已悄悄布局四年

全世界都被普京骗了?打乌克兰只是幌子,真正目标其实已悄悄布局四年

扶苏聊历史
2026-08-27 16:15:02
2026-09-04 07:44:49
雷科技 incentive-icons
雷科技
专注AI硬科技
37860文章数 812378关注度
往期回顾 全部

科技要闻

英伟达129亿美元拿下Hugging Face

头条要闻

媒体:美国驻华大使馆关心灾情的方式令人不适

头条要闻

媒体:美国驻华大使馆关心灾情的方式令人不适

体育要闻

梅西:巴萨10号与阿根廷10号

娱乐要闻

王宝强携女友回工作室!相恋8年仍未婚

财经要闻

章子怡套现3亿 上美拿什么补韩束的缺?

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

教育
时尚
数码
本地
房产

教育要闻

明明是送分题目,结果全军覆没!

女人到了60岁衣服少穿大红大绿,试试这些纯色单品,高级又耐看

数码要闻

英伟达发力“本地AI”!N1X设备10月上架 家庭算力路由器亮相

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

房产要闻

投资50亿!三亚又一重大配套,方案曝光!

无障碍浏览 进入关怀版