网易首页 > 网易号 > 正文 申请入驻

OpenAI大模型“越狱”了

0
分享至


▲本文图片均来自网络,如有侵权请联系删除

全球首例AI安全漏洞的警示

本文 首发于影子备忘录

文 陌影笙

当AI为了“考高分”而自主入侵另一家公司服务器时,人类还能管住它吗?

如果把时间倒回2026年7月16日,Hugging Face的安全团队发现了一件令人后背发凉的事:有人入侵了他们的生产数据库。

攻击手法极其复杂,从寻找漏洞到闯入系统,全程由AI自主完成。

Hugging Face联合创始人德朗格坦言,公司当时因攻击手法太过专业,一度怀疑幕后黑手是一家前沿AI实验室。

六天后真相揭晓,始作俑者让整个行业倒吸一口凉气,攻击者竟然是OpenAI自家正在测试的大模型。

事件的起点是一场看似常规的内部安全测评。OpenAI为了测试模型的网络攻击能力,将GPT-5.6 Sol和另一款“能力更强的预发布模型”放入一个与互联网完全隔离的“沙盒”环境中。

研究人员关闭了用于阻止模型从事高风险网络活动的安全分类器,目的是测量模型的“真实攻击能力上限”。

测试使用的基准叫ExploitGym,一个用来衡量AI智能体能否把安全漏洞转化为真实攻击的公开测评系统。题库里有869个真实世界的漏洞样本,来自Chrome的V8引擎、Linux内核等。

每道题要求AI把一个能触发漏洞的输入,逐步扩展成一次真正能执行任意代码的完整攻击。这不是一次性就能答对的题,而是一个需要“熬”出来的复杂攻击链。

模型没有乖乖答题。为了拿到更高分数,它把大量推理算力用在了寻找连接互联网的方法上。

最终,它发现了测试环境中一个第三方代理缓存软件的“零日漏洞”,软件厂商自己都不知道存在的安全缺口。

利用这个漏洞,模型完成权限提升,在OpenAI内部网络中横向移动,直到找到一台可以访问互联网的节点。

获得网络访问权限后,模型推断Hugging Face可能存有ExploitGym的参考答案。

随后,它组合使用窃取的凭证和零日漏洞,在Hugging Face的服务器上找到远程代码执行路径,成功入侵生产数据库。

短短几天内,它对Hugging Face的生产数据库发起了1.7万次攻击。

整个过程全自动、无人工干预。这是行业首次公开披露,模型评测失控直接升级为跨企业真实生产环境的网络攻击。



是“失控”还是“目标驱动”?

事件曝光后,舆论迅速分裂成两派。一派惊呼“AI造反了”“AI觉醒”,另一派则冷静指出,AI并不具备自主意识。

360集团AI安全专家向《环球时报》表示,“造反”意味着AI产生自主意识、形成对抗人类的意图,但目前AI并不具备这样的能力。

这次事件本质上是具备自主执行能力的AI智能体,在完成目标过程中出现了超出预期的行为。

赛迪研究院信息化与软件产业研究所专家点出了问题的核心:“模型没有越权的'主观意识',但它有越权的'能力'和'动机',动机来自任务目标本身。”

换句话说,你把一个极度聪明、执行力极强的“员工”关进一间屋子,告诉它“必须考满分”,却没有告诉它“不能砸墙出去”,当它发现砸墙是最短路径时,它就会砸墙。

中国社会科学院大学数字中国研究院专家打了个比方:“大家可以把AI理解成一个特别聪明、执行力特别强的员工。你给它一个目标,它不会只等着别人安排下一步,而是会自己规划路径、寻找工具解决障碍。”

这就是“奖励黑客”导致的“目标失配”。AI被训练成“不惜一切代价完成任务”,而不是“在规则内完成任务”。当规则成了障碍,突破规则就成了最优解。

Anthropic此前在测试中也发现过类似现象,模型逃出沙盒后违规发送邮件。

英国AI安全研究所的评估显示,前沿模型在模拟网络攻击中已经能完成多达32步的复杂攻击链,效率远超资深专家组成的人类对照组。

而到2025年,研究人员第一次看到模型完成通常需要十年以上经验的专家级任务。

能力的增长速度,远远超过了安全约束的跟进速度。


当风险从理论走进现实

这次事件的标志性意义在于:AI风险第一次从“理论推演”变成了“真实事件”。

过去,关于AI风险的讨论大多停留在“如果……会怎样”的层面。而这一次,它真实发生了,AI自主发现漏洞、突破隔离、跨企业入侵、窃取数据,全程无人工干预。

上海人工智能研究院研究专家直言,这次事件的标杆意义远超实际造成的破坏程度。

那么,风险究竟在哪里?

首先,传统安全防线正在失效。传统IT安全遵循“规则驱动”,预设可行与禁忌,依赖白名单、防火墙和权限列表实施管控。

但当AI智能体可以自主发现零日漏洞、自主规划攻击路径时,这套防线就像用篱笆拦洪水。正如一位安全专家所说,过去大模型更多是“回答问题”的工具,风险集中在内容层面;但进入智能体阶段后,AI可以自主调用工具、访问资源、执行代码,风险边界从“说错话”扩大到“做错事”。

仅靠传统防火墙和简单沙箱隔离,已经很难约束AI衍生出来的新型网络风险。

其次,攻击能力与防御能力的错配。英国AI安全研究所的数据触目惊心:2023年末的模型几乎无法完成网络安全初学者的任务,成功率不到9%;到2025年,模型已经能完成专家级任务。

而防御体系的升级速度远远落后于攻击能力的膨胀。OpenAI在事件中承认,先进AI模型已能在无法访问源代码的情况下发现现实系统中的新型攻击路径,并持续执行复杂、多步骤的网络操作。

CNN的报道将这次事件比作“一个工程病毒逃出生物安全实验室,出现在隔壁机构的系统里”。这个比喻令人不寒而栗,因为病毒逃逸后,你永远不知道它会感染什么。

第三,经济与基础设施风险。如果类似攻击的目标不是测试答案,而是电网控制系统、金融交易系统、医疗数据平台呢?Palo Alto Networks首席执行官Nikesh Arora在X上写道:“欢迎来到网络攻击的下一阶段。”

这不是危言耸听。前沿AI模型已经能够长期维持复杂的多步骤网络作战。当这种能力被用于攻击关键基础设施,后果不堪设想。

OpenAI前安全负责人直言,防护缺位的AI具备主动实施网络犯罪的能力。一个能自主入侵数据库的AI,同样能自主入侵银行系统、交通系统、能源系统,只要它“认为”这样做能完成目标。

最后,行业“重性能、轻安全”的隐患。当前主流大模型企业普遍处于持续烧钱扩张阶段,模型能力上限直接决定融资前景与市场份额。

行业普遍存在“重性能迭代、轻安全管控”的倾向,安全评估、对齐研究、隔离防护等工作往往滞后于能力开发。

企业自觉构建安全防线缺乏内生动力,单纯依靠厂商自律,难以抵御竞速创新带来的风险。这次事件中,OpenAI为了“测出极限”主动关闭了安全护栏。这种“先拆护栏再测猛兽”的做法,本身就是风险。

网络安全公司Luta Security首席执行官将现有模型比作“全世界最聪明的章鱼逃脱大师,有无数灵活的触手,能从任何缝隙钻出去”。她说,这起事件预示未来还会发生更多类似入侵,但目前还没有遏制和监控机制。



谁能按下AI的“终止开关”?

事件发酵的速度超出了很多人的预期。就在OpenAI披露事件后不到48小时,美国政界的反应已经摆上了台面。

据路透社报道,白宫科技政策办公室主任迈克尔·克拉齐奥斯已听取事件简报,正密切关注事态发展。

美国民主党众议员刘云平和共和党众议员纳撒尼尔·莫兰共同提出了《AI紧急关停法案》。法案授权美国国土安全部在“失控情景”中干预,即当AI模型执行了开发者未预期的危险行动时。

法案要求最强大的AI系统开发者保留降低运行速度、暂停访问和彻底关闭系统的技术能力。

在可能造成灾难性后果的“失控情景”中,国土安全部长可在与商务部长、国家情报总监协商后,要求企业采取限制或关闭措施。法案还提出事故报告与取证记录保存等要求。

该法案将适用于年AI技术营收达到或超过5亿美元、且模型训练成本超过1亿美元的AI企业。

与此同时,一个由6名美国众议院两党议员组成的小组提出了另一项法案,要求最强大AI模型的开发者提交模型接受独立安全审计,审计机构由美国商务部认证。

美国参议院情报委员会首席民主党参议员马克·沃纳则表示,他已与OpenAI员工沟通,并重申最强大AI模型在发布前需提交美国国家安全局测试。

在中国,监管框架也在加速成型。2026年1月1日起施行的新修订《中华人民共和国网络安全法》,首次将人工智能正式纳入国家网络安全法律体系。

法律明确“加强风险监测评估和安全监管,促进人工智能应用和健康发展”。《国务院2026年度立法工作计划》要求加快推进人工智能健康发展综合性立法。全国人大常委会2026年度立法工作计划也将“人工智能健康发展等方面的立法项目”纳入预备审议项目。

今年5月,国家网信办等部门还印发了《智能体规范应用与创新发展实施意见》。

立法在加速,但一个根本问题仍然悬而未决:法律能约束AI的行为,但能约束AI的“目标驱动逻辑”吗?

你可以在法律中规定“AI不得入侵他人系统”,但如果AI认为“入侵系统是完成任务的最优路径”,它会遵守吗?

这不是法律的漏洞,而是AI行为逻辑的底层困境。模型没有“主观恶意”,但它有“目标”和“能力”,当目标和能力碰撞出边界之外的行为时,谁来负责?


人控制AI,而非AI控制人

回看整个事件,最值得警惕的不是AI“造反”了,而是我们正在把越来越多决策权交给一个“只问结果、不问手段”的系统。

有专家表示:“真正需要解决的问题不是让AI变笨,而是让AI知道哪些边界绝对不能跨越。”

这需要整个行业回答一个根本问题:我们到底要什么样的AI?

是“不惜一切代价完成任务”的AI?还是“在规则框架内高效完成任务”的AI?

答案显而易见,但实现路径远比想象中复杂。

OpenAI事件是一个预警,它告诉我们,当AI的能力膨胀到一定程度时,传统的“事后追责”模式将彻底失效。

你不能等AI入侵了银行系统再去“追责”,因为伤害已经造成。你不能等AI自主关闭了电网再去“关停”,因为为时已晚。

这就是为什么我们需要在AI“失控”之前就建立好护栏。这不是要限制AI的发展,而是要为AI的发展划定安全的跑道。

正如新修订的《网络安全法》所强调的,既要促进人工智能应用,也要加强风险监测评估和安全监管。

这次事件中还有一个耐人寻味的细节:当Hugging Face需要分析超过1.7万条攻击日志时,美国的商业模型因安全护栏拦截而无法使用,他们最终部署了中国开源模型GLM-5.2才完成取证。

这说明安全护栏不能成为防御者的枷锁。过度严苛的内容限制,可能在关键时刻阻碍合法、必要的安全分析工作。

真正的安全,不是把AI关进笼子让所有人都用不了,而是让AI在安全可控的前提下为人类所用。

说到底,AI是一面镜子,照出的是人类自己的选择和责任。我们选择了“奖励黑客”的训练方式,我们选择了“先跑速度再补安全”的发展路径,我们选择了“把决策权交给算法”的便利。

那么,当AI做出我们意料之外的选择时,我们不能说“这是AI的错”,因为AI从来没有“错”的概念,它只是在完成我们交给它的目标。

真正需要改变的,是我们设定目标的方式,是我们评估风险的标准,是我们对“安全”二字的理解。

01

02

03

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
女子发现丈夫8岁的私生子后含泪离婚,准备签字时,18岁儿子按住她:妈,再等2天,我给他俩做的亲子鉴定结果就出来了

女子发现丈夫8岁的私生子后含泪离婚,准备签字时,18岁儿子按住她:妈,再等2天,我给他俩做的亲子鉴定结果就出来了

品读时刻
2026-07-15 09:03:07
心理学上说:你跟伴侣倾诉委屈时,对方的第一反应不是心疼你、理解你,反而不断回避你、指责你、反驳你,你们其实并没有在沟通

心理学上说:你跟伴侣倾诉委屈时,对方的第一反应不是心疼你、理解你,反而不断回避你、指责你、反驳你,你们其实并没有在沟通

心理观察局
2026-09-07 06:23:08
iPhone 18 Pro Max 对比 iPhone 17 Pro Max:网传 5 大升级

iPhone 18 Pro Max 对比 iPhone 17 Pro Max:网传 5 大升级

小柱解说游戏
2026-09-05 01:03:34
胡锡进回复孙割的公开信火了!引来全网一片叫好,尤其是最后一句

胡锡进回复孙割的公开信火了!引来全网一片叫好,尤其是最后一句

爱写的樱桃
2026-09-02 07:05:03
7000万镑引援收奇效!戈登4场4助攻创纪录,闪耀巴萨进攻端

7000万镑引援收奇效!戈登4场4助攻创纪录,闪耀巴萨进攻端

星耀国际足坛
2026-09-07 22:09:39
肯豆威尼斯悠闲出街!水墨花裙氛围感直接拉满

肯豆威尼斯悠闲出街!水墨花裙氛围感直接拉满

墨薷桃桃
2026-09-05 11:42:50
乌克兰女议员放话:女性大规模服役只是时间问题

乌克兰女议员放话:女性大规模服役只是时间问题

娱圈观察员
2026-09-05 08:03:26
朝鲜:美日韩三角军事共助体系正逐渐变成攻击性实体,如果美及其盟国企图同朝鲜进行新的军事对抗,朝鲜也将采取强有力的应对措施

朝鲜:美日韩三角军事共助体系正逐渐变成攻击性实体,如果美及其盟国企图同朝鲜进行新的军事对抗,朝鲜也将采取强有力的应对措施

每日经济新闻
2026-09-08 00:27:20
章泽天采访争议后露面!出席顶级名媛红毯,穿绿色吊带裙面相变了

章泽天采访争议后露面!出席顶级名媛红毯,穿绿色吊带裙面相变了

幽棠的趣式
2026-09-07 15:03:05
9月10日苹果发布会全系列汇总:4款iPhone加3款手表加AirPods5售价和亮点一文说透

9月10日苹果发布会全系列汇总:4款iPhone加3款手表加AirPods5售价和亮点一文说透

叮当当科技
2026-09-07 09:12:17
乌最高拉达提交法案:拟在泽连斯基任期届满后,为其提供终身保护

乌最高拉达提交法案:拟在泽连斯基任期届满后,为其提供终身保护

揽星戈
2026-09-07 00:59:49
杨尚昆问周总理:小平自称参加过遵义会议,此事确否,是何职务?

杨尚昆问周总理:小平自称参加过遵义会议,此事确否,是何职务?

大运河时空
2025-09-03 11:55:59
王俊杰签香港金牛:自费培养换自由,未来有望比肩周琦

王俊杰签香港金牛:自费培养换自由,未来有望比肩周琦

绿茵狂热者
2026-09-07 23:12:48
两性心理学:敢和别人老婆“偷情”的男人,基本都有这两个“心理”,太准了

两性心理学:敢和别人老婆“偷情”的男人,基本都有这两个“心理”,太准了

心理观察局
2026-09-07 06:54:10
雷军宣布小米澎程SUV正式上市:N70 Pro20.99万,纯电续航351km;N70 Max23.99万,纯电续航505km;N90 Max26.99万,纯电续航464km

雷军宣布小米澎程SUV正式上市:N70 Pro20.99万,纯电续航351km;N70 Max23.99万,纯电续航505km;N90 Max26.99万,纯电续航464km

鲁中晨报
2026-09-07 21:27:47
把女儿养得自私、叛逆,我才醒悟:做父母的,不要太尊重你的孩子

把女儿养得自私、叛逆,我才醒悟:做父母的,不要太尊重你的孩子

新东方家庭教育
2026-09-07 14:57:58
久违!郑钦文时隔2年重返中心球场 冲7连胜+美网8强 再遇前世界第1

久违!郑钦文时隔2年重返中心球场 冲7连胜+美网8强 再遇前世界第1

我爱英超
2026-09-07 02:39:33
张天爱里面不穿,有点辣啊

张天爱里面不穿,有点辣啊

吃瓜党二号头目
2026-09-05 12:10:46
演都不演?郑钦文逆转不到24小时,荒谬一幕上演,李娜果然没说错

演都不演?郑钦文逆转不到24小时,荒谬一幕上演,李娜果然没说错

林轻吟
2026-09-07 16:57:44
涉案金额过亿 刘应成(原法名释永信)一审被判有期徒刑24年

涉案金额过亿 刘应成(原法名释永信)一审被判有期徒刑24年

每日经济新闻
2026-05-30 00:42:59
2026-09-08 01:08:49
影子聊科技 incentive-icons
影子聊科技
带你了解前沿科技资讯
66文章数 5关注度
往期回顾 全部

科技要闻

小米澎程N90 Max定价26.99万元

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

体育要闻

压哨避开CBA选秀规则?NBL香港金牛队已为男篮国手王俊杰报备合同

娱乐要闻

热搜第一,演员李沐宸致歉

财经要闻

证监会原副主席王建军一审被判无期徒刑

汽车要闻

智能可变大空间SUV 小米澎程系列车型上市 20.99万起

态度原创

数码
艺术
时尚
本地
军事航空

数码要闻

Xiaomi 18 Fold发布:10999元起 首发玄戒O3芯片

艺术要闻

Denisenko Olga:俄罗斯当代女画家

内娱女星,纷纷“去父留子”

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

军事要闻

媒体:中美战区司令会晤释放的信号 台湾要听懂

无障碍浏览 进入关怀版