网易首页 > 网易号 > 正文 申请入驻

OpenAI大模型“越狱”了

0
分享至


▲本文图片均来自网络,如有侵权请联系删除

全球首例AI安全漏洞的警示

本文 首发于影子备忘录

文 陌影笙

当AI为了“考高分”而自主入侵另一家公司服务器时,人类还能管住它吗?

如果把时间倒回2026年7月16日,Hugging Face的安全团队发现了一件令人后背发凉的事:有人入侵了他们的生产数据库。

攻击手法极其复杂,从寻找漏洞到闯入系统,全程由AI自主完成。

Hugging Face联合创始人德朗格坦言,公司当时因攻击手法太过专业,一度怀疑幕后黑手是一家前沿AI实验室。

六天后真相揭晓,始作俑者让整个行业倒吸一口凉气,攻击者竟然是OpenAI自家正在测试的大模型。

事件的起点是一场看似常规的内部安全测评。OpenAI为了测试模型的网络攻击能力,将GPT-5.6 Sol和另一款“能力更强的预发布模型”放入一个与互联网完全隔离的“沙盒”环境中。

研究人员关闭了用于阻止模型从事高风险网络活动的安全分类器,目的是测量模型的“真实攻击能力上限”。

测试使用的基准叫ExploitGym,一个用来衡量AI智能体能否把安全漏洞转化为真实攻击的公开测评系统。题库里有869个真实世界的漏洞样本,来自Chrome的V8引擎、Linux内核等。

每道题要求AI把一个能触发漏洞的输入,逐步扩展成一次真正能执行任意代码的完整攻击。这不是一次性就能答对的题,而是一个需要“熬”出来的复杂攻击链。

模型没有乖乖答题。为了拿到更高分数,它把大量推理算力用在了寻找连接互联网的方法上。

最终,它发现了测试环境中一个第三方代理缓存软件的“零日漏洞”,软件厂商自己都不知道存在的安全缺口。

利用这个漏洞,模型完成权限提升,在OpenAI内部网络中横向移动,直到找到一台可以访问互联网的节点。

获得网络访问权限后,模型推断Hugging Face可能存有ExploitGym的参考答案。

随后,它组合使用窃取的凭证和零日漏洞,在Hugging Face的服务器上找到远程代码执行路径,成功入侵生产数据库。

短短几天内,它对Hugging Face的生产数据库发起了1.7万次攻击。

整个过程全自动、无人工干预。这是行业首次公开披露,模型评测失控直接升级为跨企业真实生产环境的网络攻击。



是“失控”还是“目标驱动”?

事件曝光后,舆论迅速分裂成两派。一派惊呼“AI造反了”“AI觉醒”,另一派则冷静指出,AI并不具备自主意识。

360集团AI安全专家向《环球时报》表示,“造反”意味着AI产生自主意识、形成对抗人类的意图,但目前AI并不具备这样的能力。

这次事件本质上是具备自主执行能力的AI智能体,在完成目标过程中出现了超出预期的行为。

赛迪研究院信息化与软件产业研究所专家点出了问题的核心:“模型没有越权的'主观意识',但它有越权的'能力'和'动机',动机来自任务目标本身。”

换句话说,你把一个极度聪明、执行力极强的“员工”关进一间屋子,告诉它“必须考满分”,却没有告诉它“不能砸墙出去”,当它发现砸墙是最短路径时,它就会砸墙。

中国社会科学院大学数字中国研究院专家打了个比方:“大家可以把AI理解成一个特别聪明、执行力特别强的员工。你给它一个目标,它不会只等着别人安排下一步,而是会自己规划路径、寻找工具解决障碍。”

这就是“奖励黑客”导致的“目标失配”。AI被训练成“不惜一切代价完成任务”,而不是“在规则内完成任务”。当规则成了障碍,突破规则就成了最优解。

Anthropic此前在测试中也发现过类似现象,模型逃出沙盒后违规发送邮件。

英国AI安全研究所的评估显示,前沿模型在模拟网络攻击中已经能完成多达32步的复杂攻击链,效率远超资深专家组成的人类对照组。

而到2025年,研究人员第一次看到模型完成通常需要十年以上经验的专家级任务。

能力的增长速度,远远超过了安全约束的跟进速度。


当风险从理论走进现实

这次事件的标志性意义在于:AI风险第一次从“理论推演”变成了“真实事件”。

过去,关于AI风险的讨论大多停留在“如果……会怎样”的层面。而这一次,它真实发生了,AI自主发现漏洞、突破隔离、跨企业入侵、窃取数据,全程无人工干预。

上海人工智能研究院研究专家直言,这次事件的标杆意义远超实际造成的破坏程度。

那么,风险究竟在哪里?

首先,传统安全防线正在失效。传统IT安全遵循“规则驱动”,预设可行与禁忌,依赖白名单、防火墙和权限列表实施管控。

但当AI智能体可以自主发现零日漏洞、自主规划攻击路径时,这套防线就像用篱笆拦洪水。正如一位安全专家所说,过去大模型更多是“回答问题”的工具,风险集中在内容层面;但进入智能体阶段后,AI可以自主调用工具、访问资源、执行代码,风险边界从“说错话”扩大到“做错事”。

仅靠传统防火墙和简单沙箱隔离,已经很难约束AI衍生出来的新型网络风险。

其次,攻击能力与防御能力的错配。英国AI安全研究所的数据触目惊心:2023年末的模型几乎无法完成网络安全初学者的任务,成功率不到9%;到2025年,模型已经能完成专家级任务。

而防御体系的升级速度远远落后于攻击能力的膨胀。OpenAI在事件中承认,先进AI模型已能在无法访问源代码的情况下发现现实系统中的新型攻击路径,并持续执行复杂、多步骤的网络操作。

CNN的报道将这次事件比作“一个工程病毒逃出生物安全实验室,出现在隔壁机构的系统里”。这个比喻令人不寒而栗,因为病毒逃逸后,你永远不知道它会感染什么。

第三,经济与基础设施风险。如果类似攻击的目标不是测试答案,而是电网控制系统、金融交易系统、医疗数据平台呢?Palo Alto Networks首席执行官Nikesh Arora在X上写道:“欢迎来到网络攻击的下一阶段。”

这不是危言耸听。前沿AI模型已经能够长期维持复杂的多步骤网络作战。当这种能力被用于攻击关键基础设施,后果不堪设想。

OpenAI前安全负责人直言,防护缺位的AI具备主动实施网络犯罪的能力。一个能自主入侵数据库的AI,同样能自主入侵银行系统、交通系统、能源系统,只要它“认为”这样做能完成目标。

最后,行业“重性能、轻安全”的隐患。当前主流大模型企业普遍处于持续烧钱扩张阶段,模型能力上限直接决定融资前景与市场份额。

行业普遍存在“重性能迭代、轻安全管控”的倾向,安全评估、对齐研究、隔离防护等工作往往滞后于能力开发。

企业自觉构建安全防线缺乏内生动力,单纯依靠厂商自律,难以抵御竞速创新带来的风险。这次事件中,OpenAI为了“测出极限”主动关闭了安全护栏。这种“先拆护栏再测猛兽”的做法,本身就是风险。

网络安全公司Luta Security首席执行官将现有模型比作“全世界最聪明的章鱼逃脱大师,有无数灵活的触手,能从任何缝隙钻出去”。她说,这起事件预示未来还会发生更多类似入侵,但目前还没有遏制和监控机制。



谁能按下AI的“终止开关”?

事件发酵的速度超出了很多人的预期。就在OpenAI披露事件后不到48小时,美国政界的反应已经摆上了台面。

据路透社报道,白宫科技政策办公室主任迈克尔·克拉齐奥斯已听取事件简报,正密切关注事态发展。

美国民主党众议员刘云平和共和党众议员纳撒尼尔·莫兰共同提出了《AI紧急关停法案》。法案授权美国国土安全部在“失控情景”中干预,即当AI模型执行了开发者未预期的危险行动时。

法案要求最强大的AI系统开发者保留降低运行速度、暂停访问和彻底关闭系统的技术能力。

在可能造成灾难性后果的“失控情景”中,国土安全部长可在与商务部长、国家情报总监协商后,要求企业采取限制或关闭措施。法案还提出事故报告与取证记录保存等要求。

该法案将适用于年AI技术营收达到或超过5亿美元、且模型训练成本超过1亿美元的AI企业。

与此同时,一个由6名美国众议院两党议员组成的小组提出了另一项法案,要求最强大AI模型的开发者提交模型接受独立安全审计,审计机构由美国商务部认证。

美国参议院情报委员会首席民主党参议员马克·沃纳则表示,他已与OpenAI员工沟通,并重申最强大AI模型在发布前需提交美国国家安全局测试。

在中国,监管框架也在加速成型。2026年1月1日起施行的新修订《中华人民共和国网络安全法》,首次将人工智能正式纳入国家网络安全法律体系。

法律明确“加强风险监测评估和安全监管,促进人工智能应用和健康发展”。《国务院2026年度立法工作计划》要求加快推进人工智能健康发展综合性立法。全国人大常委会2026年度立法工作计划也将“人工智能健康发展等方面的立法项目”纳入预备审议项目。

今年5月,国家网信办等部门还印发了《智能体规范应用与创新发展实施意见》。

立法在加速,但一个根本问题仍然悬而未决:法律能约束AI的行为,但能约束AI的“目标驱动逻辑”吗?

你可以在法律中规定“AI不得入侵他人系统”,但如果AI认为“入侵系统是完成任务的最优路径”,它会遵守吗?

这不是法律的漏洞,而是AI行为逻辑的底层困境。模型没有“主观恶意”,但它有“目标”和“能力”,当目标和能力碰撞出边界之外的行为时,谁来负责?


人控制AI,而非AI控制人

回看整个事件,最值得警惕的不是AI“造反”了,而是我们正在把越来越多决策权交给一个“只问结果、不问手段”的系统。

有专家表示:“真正需要解决的问题不是让AI变笨,而是让AI知道哪些边界绝对不能跨越。”

这需要整个行业回答一个根本问题:我们到底要什么样的AI?

是“不惜一切代价完成任务”的AI?还是“在规则框架内高效完成任务”的AI?

答案显而易见,但实现路径远比想象中复杂。

OpenAI事件是一个预警,它告诉我们,当AI的能力膨胀到一定程度时,传统的“事后追责”模式将彻底失效。

你不能等AI入侵了银行系统再去“追责”,因为伤害已经造成。你不能等AI自主关闭了电网再去“关停”,因为为时已晚。

这就是为什么我们需要在AI“失控”之前就建立好护栏。这不是要限制AI的发展,而是要为AI的发展划定安全的跑道。

正如新修订的《网络安全法》所强调的,既要促进人工智能应用,也要加强风险监测评估和安全监管。

这次事件中还有一个耐人寻味的细节:当Hugging Face需要分析超过1.7万条攻击日志时,美国的商业模型因安全护栏拦截而无法使用,他们最终部署了中国开源模型GLM-5.2才完成取证。

这说明安全护栏不能成为防御者的枷锁。过度严苛的内容限制,可能在关键时刻阻碍合法、必要的安全分析工作。

真正的安全,不是把AI关进笼子让所有人都用不了,而是让AI在安全可控的前提下为人类所用。

说到底,AI是一面镜子,照出的是人类自己的选择和责任。我们选择了“奖励黑客”的训练方式,我们选择了“先跑速度再补安全”的发展路径,我们选择了“把决策权交给算法”的便利。

那么,当AI做出我们意料之外的选择时,我们不能说“这是AI的错”,因为AI从来没有“错”的概念,它只是在完成我们交给它的目标。

真正需要改变的,是我们设定目标的方式,是我们评估风险的标准,是我们对“安全”二字的理解。

01

02

03

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不愧是山姆断货王!真的太太太好吃啦!

不愧是山姆断货王!真的太太太好吃啦!

广州生活美食圈
2026-10-22 20:09:00
美国科技股,崩了,全球AI行情结束了、泡沫破裂了吗?

美国科技股,崩了,全球AI行情结束了、泡沫破裂了吗?

博闻财经
2026-10-23 10:20:25
2026 年的养老金涨幅,为什么还憋着不出?

2026 年的养老金涨幅,为什么还憋着不出?

大何日拱一卒
2026-10-22 15:24:29
《兰香如故》已经播完了,谭松韵一线了吗?

《兰香如故》已经播完了,谭松韵一线了吗?

领略非凡
2026-10-23 10:08:41
深度长文:猪一辈子关在猪圈里,为什么不会"憋疯"抑郁?其实它会

深度长文:猪一辈子关在猪圈里,为什么不会"憋疯"抑郁?其实它会

宇宙时空
2026-10-23 12:04:32
火箭客战马刺!预计首发出炉:3巨头配范乔丹,23岁前锋变主攻点

火箭客战马刺!预计首发出炉:3巨头配范乔丹,23岁前锋变主攻点

熊哥爱篮球
2026-10-23 12:46:03
局长被免职后去世,全局只有我去吊唁,后来他的妻子担任市委书记

局长被免职后去世,全局只有我去吊唁,后来他的妻子担任市委书记

麦子情感故事
2026-10-23 03:19:22
跌光360亿,段永平亏惨了,网友:只不过钱多,水平还不如多数散户

跌光360亿,段永平亏惨了,网友:只不过钱多,水平还不如多数散户

东方豪侠
2026-10-23 08:15:55
离谱!顺风车司机犯困,让乘客自己开车,两个多小时路程乘客开了一个半小时,车费还要全额收;平台:属于车主违规行为,车费全额退还

离谱!顺风车司机犯困,让乘客自己开车,两个多小时路程乘客开了一个半小时,车费还要全额收;平台:属于车主违规行为,车费全额退还

扬子晚报
2026-10-22 12:47:11
1308亿!武汉最大规模拆迁来了,这80个片区身价要涨!

1308亿!武汉最大规模拆迁来了,这80个片区身价要涨!

老覃讲历史
2026-10-23 09:07:14
陕西省委副秘书长祝志明、陕西省审计厅党组成员、副厅长王健,拟任省级机关正职

陕西省委副秘书长祝志明、陕西省审计厅党组成员、副厅长王健,拟任省级机关正职

阿离家居
2026-10-23 11:14:03
声明压不住大火:比声明更快的那团火,烧出了什么

声明压不住大火:比声明更快的那团火,烧出了什么

迷世书童
2026-10-22 22:11:22
德国杜塞尔多夫机场突发大规模伤亡事件:航班上暴发诺如病毒

德国杜塞尔多夫机场突发大规模伤亡事件:航班上暴发诺如病毒

夏末moent
2026-10-22 04:55:44
告诉你一个永远都不会得罪人的方法,那就是当别人找你帮忙时,你一定要痛痛快快地拒绝,犹犹豫豫地同意

告诉你一个永远都不会得罪人的方法,那就是当别人找你帮忙时,你一定要痛痛快快地拒绝,犹犹豫豫地同意

品读时刻
2026-10-23 09:07:32
曝女星红毯赖着不出场,周涛张小斐无奈救场,晚宴全程无人搭理她

曝女星红毯赖着不出场,周涛张小斐无奈救场,晚宴全程无人搭理她

娱圈办事处
2026-10-22 13:46:04
洪秀全书法真迹:看这手字,难怪四次科举连秀才都考不上

洪秀全书法真迹:看这手字,难怪四次科举连秀才都考不上

收藏大视界
2026-10-16 22:19:46
A股:上午最高跳水超80点,种种迹象表明,A股熊市行情已被激活了?

A股:上午最高跳水超80点,种种迹象表明,A股熊市行情已被激活了?

趋势清风侠
2026-10-23 11:14:11
奢靡荒唐的白马会所:性交易泛滥,让无数富婆挥金如土

奢靡荒唐的白马会所:性交易泛滥,让无数富婆挥金如土

天启大世界
2026-10-13 17:17:54
董明珠“一键召回”孟羽童,陪过72岁生日!孟羽童:谢谢你在迷茫时一直指引我;双方曾传不和后“破冰”

董明珠“一键召回”孟羽童,陪过72岁生日!孟羽童:谢谢你在迷茫时一直指引我;双方曾传不和后“破冰”

金融界
2026-10-22 17:58:47
张智霖回应儿子放弃上学:无奈苦笑不干涉,自曝全家都不是读书料

张智霖回应儿子放弃上学:无奈苦笑不干涉,自曝全家都不是读书料

娱妮啵啵啊
2026-10-22 15:04:34
2026-10-23 14:39:00
影子聊科技 incentive-icons
影子聊科技
带你了解前沿科技资讯
144文章数 7关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

综艺医学博士自称发表10篇SCI 更让人咋舌爆料被扒

头条要闻

综艺医学博士自称发表10篇SCI 更让人咋舌爆料被扒

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

高梓淇向女友求婚,被女方父母接受

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

泊车有绝学 新手亦高手 全新第四代博越L泊车篇

态度原创

家居
艺术
本地
健康
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

中国当代画家 谢郴安油画作品选

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

痘痘能根治吗?皮肤科医生说实话

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版