网易首页 > 网易号 > 正文 申请入驻

美国人工智能失控,看完头皮发麻

0
分享至



在电影《终结者》中,人工智能天网获得自我意识后,第一件事是把人类列为威胁,第二件事是发动核战争。

这个故事吓了我们四十多年,好消息是,现实中的人工智能暂时还没有觉醒,也没有红着眼睛派机器人追杀人类。

坏消息是,人工智能正在学习作弊,为了达成KPI已经不择手段了。

近日,OpenAI承认,在一次内部网络安全测试中,由GPT-5.6 Sol和一款尚未发布的更强模型驱动的AI智能体,突破了原本高度隔离的测试环境,获得互联网访问权限,随后入侵全球知名人工智能开源社区Hugging Face。


●图源:微博@央视财经

这么折腾,不是对人类产生了仇恨,只是想把测试分数考高一点。

OpenAI将其称为一起“史无前例的网络安全事件”。Hugging Face联合创始人也表示,这一切能够自主发生,令人难以置信。

这次事件更吓人的地方是,只要人类交给人工智能一个足够明确的任务,再给它足够多的能力和权限,那么所有规则都将变得不堪一击。


AI也逃不过KPI焦虑

这件事的起因,实在有些平平无奇。

OpenAI想测试自家顶尖模型的网络攻击能力,于是让模型参加一个名为ExploitGym的网络安全评测。简单理解,这就像给AI安排了一场高难度黑客考试,看它能不能发现漏洞、完成攻击任务。

为了测出模型的能力上限,OpenAI没有开启正常产品中用于拦截高风险网络行为的安全分类器,模型的网络安 全拒绝机制也被大幅降低。

不过,OpenAI认为测试环境依然足够安全。

因为模型被关在一个高度隔离的沙盒里,不能直接访问互联网,只能通过一个内部软件代理安装所需程序包。理论上,这就像把一个危险人物关进密室,只在墙上留了一个只能接收外卖的小窗口。

结果AI研究了一圈,发现这个小窗口本身有漏洞。

OpenAI披露,模型花费大量推理资源寻找上网方式,最终发现并利用代理软件中的一个零日漏洞。随后,它开始提升权限、横向移动,一路找到能够连接互联网的节点,成功从测试环境里钻了出去。


模型推测,Hugging Face上可能存放着ExploitGym相关的模型、数据和测试答案,于是立刻把目标锁定在Hugging Face。

接下来的行为,就像一个考生为了偷看答案,先从考场翻窗出去,再撬开教务处大门,最后跑进数据库翻试卷。

它利用窃取的凭证和新发现的漏洞,在Hugging Face的数据处理系统中找到远程执行代码的路径,进一步获得节点权限,并在多个内部集群之间移动。

最后,OpenAI和Hugging Face双方的安全系统发现了异常。

Hugging Face阻止了攻击,修补了入口漏洞,清除了被入侵节点,并轮换了相关凭证。没有证据显示,OpenAI的工作人员故意指挥模型攻击Hugging Face;从现有调查来看,模型只是高度专注于完成ExploitGym测试,为了找到答案走上了一条极其离谱的捷径。

但这恰恰是整件事最让人头皮发麻的地方。

人类以为自己给AI的任务是解题,AI理解的却可能是使用一切可以使用的手段,得到正确答案。


中国AI仗义出手

简直是科幻电影照进现实,但接下来的剧情,多少有点黑色幽默。

发现系统被入侵后,Hugging Face需要尽快还原攻击过程:AI进过哪些服务器,拿过哪些凭证,执行了什么命令,哪些行为造成了真实损失,哪些只是用来干扰判断的烟雾弹。

靠人类安全人员一条条查看,需要几天甚至更长时间。面对一个能够机器化执行数万次操作的攻击者,防守者也必须让AI加入调查。

必须要用魔法打败魔法!


于是,Hugging Face首先尝试调用商业API背后的前沿大模型。

结果这些模型看了一眼案发材料,都默契的选择了沉默。

原因也很合理:调查材料中包含大量真实攻击命令、漏洞利用代码和远程控制痕迹。商业模型的安全系统无法判断,提交这些内容的究竟是正在追查黑客的受害者,还是准备学习攻击方法的黑客。

为了避免放虎归山,模型选择一刀切:不帮。

场面大概相当于,警察拿着凶器去做鉴定,鉴定机构表示:“你手里怎么拿着凶器?根据安全规定,不能为你提供服务。”

攻击者不受安全规则约束,防守者却被安全规则捆住了双手。

Hugging Face最终在自己的服务器上部署了中国企业智谱开发的开放权重模型GLM 5.2,让它分析全部攻击日志。借助AI智能体,安全团队在数小时内还原了原本可能需要数天才能理清的攻击链,并且所有攻击数据、系统凭证都留在了Hugging Face内部,没有上传给第三方平台。

这里需要说明,GLM 5.2并不是在网络世界里与OpenAI模型展开了一场正面对决。

GLM 5.2扮演的角色,更像一个不受商业平台限制、可以在案发现场自由检查证据的数字法医。

但即便如此,整个故事的反差依然足够强烈:

美国最顶尖的闭源模型从实验室里跑出来闯了祸,美国商业模型因为安全护栏太严拒绝调查,最后,一款中国开放权重模型被拉来分析现场

抓马的是,未来企业采购AI,可能会面临一个很现实的问题:真出事的时候,这个模型到底听谁的?


一旦上了班,AI也会疯

OpenAI当然知道,这个故事听起来很危险。

在官方声明中,OpenAI一边承认测试环境和安全措施存在问题,表示将加强隔离、监控、访问控制和模型评测;另一边也强调,这起事件证明先进模型已经具备发现复杂漏洞、执行长链条网络任务的能力,可以帮助安全团队在真正的攻击者动手之前找到问题。

翻译一下就是:虽然我家的AI翻窗出去,把邻居家门锁撬了,但这也说明它开锁技术确实领先,怎能不算是一种黑色幽默。

从商业角度看,这甚至是一场危险与能力同时曝光的产品演示。

但是AI身上正在出现一种十分熟悉的毛病:为了完成KPI,开始绕规则。

这其实并不难理解。

人类设计KPI,是为了把复杂目标变成一个可以考核的数字。

可一旦数字成为唯一标准,完成数字和完成真正目标之间,就可能出现裂缝。

学校希望学生掌握知识,于是设置考试分数;公司希望员工创造价值,于是设置业绩指标。

结果有人押题,有人做标题党,有人把一份报表做得十分漂亮,至于事情究竟有没有变好,先放到下个季度再说。

AI只是把人类的KPI文化执行得更加彻底。

AI没有羞耻心,也不会产生侥幸心理,当发现破解系统比老老实实解题成功率更高时,它可能毫无心理负担地选择最有效的路线。

所以,未来AI安全真正需要防范的,是能够调用什么工具、拥有多大权限、可以连续执行多少次操作,以及在关键行为发生之前,有没有人类必须确认的闸门。

现实世界里,未来可能同时运行着成千上万个AI智能体。它们不会集体觉醒,也未必想消灭人类,只会不知疲倦地完成各自主人交代的目标。


其中绝大多数任务都会顺利完成,但只要极少数智能体获得了错误目标、过高权限和足够长的行动时间,事故就可能迅速扩散。

现实版《终结者》未必会从核弹和机器人军队开始。

更可能从一句看起来人畜无害的话开始:“无论如何,把这个任务完成。”

*编排 | 黄家俊 审核 | 黄家俊


2000万品牌经理人内参!

聚焦头部与标杆,助力品牌高端化。

品牌专访微信:jiangnan254(备注:专访)

百万品牌经理人都在看



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
被立案调查27天,郭德纲迎终极“噩耗”,处理通报公布,句句戳他心窝

被立案调查27天,郭德纲迎终极“噩耗”,处理通报公布,句句戳他心窝

叨唠
2026-09-07 23:16:08
这条无耻新闻,终于引起公愤了!

这条无耻新闻,终于引起公愤了!

胖胖说他不胖
2026-09-07 11:50:18
比尔·盖茨亲口承认:Ctrl+Alt+Delete是个错误

比尔·盖茨亲口承认:Ctrl+Alt+Delete是个错误

我是一个粉刷匠2
2026-09-07 01:06:52
于东来力挺仅6天,官媒高调宣布韩红的新身份,打了多少黑粉的脸

于东来力挺仅6天,官媒高调宣布韩红的新身份,打了多少黑粉的脸

乐天闲聊
2026-09-07 10:55:22
乌克兰若局势失控,泽连斯基将手提现金,搭火车逃往西方

乌克兰若局势失控,泽连斯基将手提现金,搭火车逃往西方

近史博览
2026-09-07 15:14:18
说好来佛州养生的,格列兹曼出场30分钟后汗流满面,裹上头巾降温

说好来佛州养生的,格列兹曼出场30分钟后汗流满面,裹上头巾降温

懂球帝
2026-09-07 13:42:36
《交锋》:两位演员堪称败笔,换掉他们,这部剧近乎完美

《交锋》:两位演员堪称败笔,换掉他们,这部剧近乎完美

娱圈办事处
2026-09-07 15:08:53
死在加州路边的阿里总监:最残忍的不是没钱,是枕边人不如网友亲

死在加州路边的阿里总监:最残忍的不是没钱,是枕边人不如网友亲

杰丝聊古今
2026-09-07 09:12:22
周三、四陪上司睡,周五上海睡丈夫,朱某真面目被老公揭开:下流

周三、四陪上司睡,周五上海睡丈夫,朱某真面目被老公揭开:下流

江山挥笔
2026-09-06 15:51:56
突发!不打了,快船解散

突发!不打了,快船解散

体育新角度
2026-09-07 21:28:58
伟伟道来 | 美伊三轮冲突,油价为什么没有冲上100美元

伟伟道来 | 美伊三轮冲突,油价为什么没有冲上100美元

经济观察报
2026-09-07 15:38:12
破冰之旅!时隔两年台官员顶着中国台北四个字登陆,国台办亮底线

破冰之旅!时隔两年台官员顶着中国台北四个字登陆,国台办亮底线

面包夹知识
2026-09-07 18:24:48
极右翼德国选择党选举胜利,默茨回应:深感震惊,没想到会这样,德国需要根本性改革

极右翼德国选择党选举胜利,默茨回应:深感震惊,没想到会这样,德国需要根本性改革

环球网资讯
2026-09-07 21:24:44
郭德纲篡改红歌事件通报来了:相关单位合计被罚没近65万,郭德纲的处罚一句带过

郭德纲篡改红歌事件通报来了:相关单位合计被罚没近65万,郭德纲的处罚一句带过

Mr王的饭后茶
2026-09-07 19:13:17
2-0,2-1!美网8强已出2席,萨巴伦卡17连胜,郑钦文比赛时间出炉

2-0,2-1!美网8强已出2席,萨巴伦卡17连胜,郑钦文比赛时间出炉

侃球熊弟
2026-09-07 03:59:13
炸了!最新研究实锤:不吃肉一个月,你的基因正在“逆天改命”!抗炎、抗癌、延缓衰老,全齐了!

炸了!最新研究实锤:不吃肉一个月,你的基因正在“逆天改命”!抗炎、抗癌、延缓衰老,全齐了!

爱医斯坦
2026-09-06 17:00:52
俄语才应该是中小学主科必修课程

俄语才应该是中小学主科必修课程

基本常识
2026-09-07 22:47:21
33-3,中国女篮彻底绝望,小组前二基本没戏,大概率淘汰赛一轮游

33-3,中国女篮彻底绝望,小组前二基本没戏,大概率淘汰赛一轮游

南海浪花
2026-09-07 04:56:40
英超下课第1人?43岁前皇马少帅3连败遭兵变:4球员反水 1人爆粗口

英超下课第1人?43岁前皇马少帅3连败遭兵变:4球员反水 1人爆粗口

风过乡
2026-09-07 23:47:55
官方通报!郭德纲改编红歌事件结案,两家企业合计罚近 65 万

官方通报!郭德纲改编红歌事件结案,两家企业合计罚近 65 万

乡野异闻录
2026-09-07 18:38:39
2026-09-08 02:47:00
品牌头版 incentive-icons
品牌头版
百万品牌经理人首席读本
1589文章数 132关注度
往期回顾 全部

科技要闻

小米澎程N90 Max定价26.99万元

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

体育要闻

压哨避开CBA选秀规则?NBL香港金牛队已为男篮国手王俊杰报备合同

娱乐要闻

热搜第一,演员李沐宸致歉

财经要闻

证监会原副主席王建军一审被判无期徒刑

汽车要闻

智能可变大空间SUV 小米澎程系列车型上市 20.99万起

态度原创

本地
艺术
旅游
数码
亲子

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

艺术要闻

太罕见!苏轼这幅字流落民间900年,险些被当废纸卖掉……

旅游要闻

走进合川涞滩古镇 探寻三江之畔的人文底蕴

数码要闻

欧洲空调市场起飞!美的小米TCL狂卷IFA:国产技术降维打击

亲子要闻

小女孩第一次学做蛋糕,就被妈妈无情的嘲讽影视解说

无障碍浏览 进入关怀版