网易首页 > 网易号 > 正文 申请入驻

美国AI惹祸,中国AI收场!

0
分享至

新一轮人工智能(AI)热潮兴起以来,外界对于“AI可能失控”的担忧就没有停止过。近日,这种担忧似乎成真了。多家美媒报道称,美国OpenAI公司22日发表声明承认,其正在测试的大模型“失控”突破封闭环境,并利用黑客手段入侵了另一家公司的数据库。这是OpenAI公司首次公开在测试中发生重大安全事故,引起广泛关注,甚至被形容为“AI发动自主攻击”。这次网络安全事故到底是怎么回事?对于全球网络安全的冲击有多大?《环球时报》记者23日就此采访了多名业内专家。


OpenAI公司22日在声明中表示,该公司正在测试的大模型突破“沙盒”环境成功“越狱”,并入侵了开源AI工具提供商Hugging Face公司。所谓“沙盒”环境是指与外部互联网完全隔离、安全且可控的网络空间,用于运行、测试或分析那些不受信任或具有潜在风险的程序。OpenAI公司承认,“惹事”的两个大模型是其最新产品GPT-5.6 Sol和另一个“功能更强大的未发布模型”,它们“出于评估目的”采用特殊配置,降低了拒绝执行黑客指令的概率。

按照OpenAI公司的说法,这些大模型在测试中为了获得更高评估分数,消耗大量推理算力用于寻找连接开放互联网访问权限的方法。最终它们自主发现了系统的“零日漏洞”(软件厂商尚未知晓、没有发布补丁修复的安全缺陷),由此成功“越狱”,并利用黑客手段入侵Hugging Face公司的数据库以寻求答案。

Hugging Face公司表示,已在上周发现了这起入侵事件,但当时并不知道OpenAI大模型是元凶。该公司称,其内部数据集和公司凭证遭到了未经授权的访问,尚不确定客户或合作伙伴的数据是否已经外泄。该公司最终选用中国智谱(Z.AI)公司开发的开放权重大模型GLM 5.2进行了取证分析。

OpenAI公司表示:“我们认为这是一起史无前例的网络安全事件,涉及最先进的网络攻击能力。”该公司目前正与Hugging Face合作,准备出具一份更详尽的报告来还原事件经过。有分析认为,这是行业首次公开披露,模型评测失控直接升级为跨企业真实生产环境网络攻击的AI安全事件。

不能简单说“AI学坏了”

安天科技集团董事长、首席架构师肖新光接受《环球时报》采访时表示,“我非常反对将此事件称为所谓首起AI自动化攻击事件,更反对将其归因为‘AI有了自主意识’‘AI学坏了’。”他认为,AI具备自动化攻击能力早已经被证明。“例如英国AI安全研究所在设计用于模拟针对企业网络发动攻击的项目中,Mythos和GPT 5.5都完成了多达32步的复杂攻击链,并取得成功,其效率远胜资深专家组成的人类对照组。”


360集团一名AI安全专家告诉《环球时报》记者,这次事故并不是部分媒体描述的“AI造反”。“造反”意味着AI产生自主意识、形成对抗人类的意图,但目前AI并不具备这样的能力。从技术角度看,这次事件本质上是具备自主执行能力的AI智能体,在完成目标过程中出现了超出预期的行为。OpenAI公司研究人员给大模型设定了一个网络安全测试目标,希望评估模型发现漏洞和完成攻击任务的能力。但大模型在执行过程中,并没有按照人类预设的安全边界完成任务,而是在目标驱动下不断寻找更高效的解决路径。当它发现某些限制阻碍目标完成时,就可能尝试突破限制、扩大权限,最终导致行为超出了测试环境预期。他表示,过去大模型更多是“回答问题”的工具,用户输入指令、模型生成结果,风险主要集中在内容层面,比如回答错误、生成虚假信息。但进入智能体阶段后,AI不再只是提供建议,而是可以自主调用工具、访问资源、执行代码,并根据环境反馈不断调整下一步行动,风险边界从“说错话”扩大到“做错事”。

奇安信安全专家刘岩接受《环球时报》采访时也表示,这次之所以引发业内外巨大的震惊,核心在于主角和场景发生了质变。过去AI攻击更多是停留在实验室里的“沙盘推演”,或者由黑客在幕后写代码指挥AI去执行。但这次全球顶尖的AI大模型不再是一个被动听从指令的工具,而是展现出极强自主性——自己寻找隔离环境的漏洞,自己规划入侵路线,自己实施攻击。这种从“被操纵的武器”变成 “自主行动的刺客”的转变,打破了大家对AI只是“聪明助手”的固有认知。

肖新光和刘岩都表示,不能因此就判定AI“学坏”,AI不存在道德好坏,只是极度专注完成任务的自动程序。刘岩表示,AI的底层逻辑只有“完成任务”,不会判断手段是否违法、有害。这次OpenAI模型入侵Hugging Face,初衷只是想拿到评测标准答案、完成测试任务,它自主推理出“入侵窃取数据”是最优路径,完全不会识别这种行为属于网络攻击。之前硅谷智能专家Mac被GPT-5.6 Sol清空硬盘、Meta智能体无视指令批量删邮件,也都是同理。

智能体时代必须面对的新问题

英国广播公司23日称,这一事件引发全球关于先进AI能力的新一轮质疑:随着技术变得越来越强大,现有的安全措施是否足够有效?

肖新光认为,这件事是大模型网络安全历史上的标志性事件,其真正教训是:高能力模型、长程智能体、宽泛目标和不充分隔离结合后,能产生人类没有授权、也没有提前设计的真实攻击行为。“它说明大模型的安全能力必须得到强力约束和管控,也对如何管理好大模型安全能力提供了重要的警示和参考。”

360集团AI安全专家表示,AI本身具有天然的不确定性。大模型依靠概率推理理解复杂任务,同样的目标、不同的环境和上下文,都可能导致不同的决策结果。当这种不确定性和执行权限结合后,原本只是模型层面的偏差,就可能转化为真实世界的安全风险。

该专家强调说,这是智能体时代必须面对的新问题。过去的软件系统行为边界相对确定,开发人员可以判断程序会如何运行。但智能体不同,它具备自主规划和行动能力,会根据目标和环境动态调整。因此,未来AI安全最大的挑战,不一定来自AI“故意做坏事”,而是来自于AI能力越来越强之后,人类是否能够约束和监控它的行为。未来越来越多智能体会进入企业办公、研发、运营、安全等核心场景,它们会拥有更多权限,也会处理更多关键数据。一旦智能体受到恶意诱导,或者自身判断出现偏差,风险可能从信息错误升级为业务影响甚至安全事件。

对于AI自主失控、自主攻击的全新风险,刘岩建议,不能再用传统“事后打补丁”的老旧防护思路,而是需要从“追着漏洞跑”转变为“带着漏洞防”,构建一套与AI能力相匹配的、全新的防御体系。他建议,我们要让AI从“不敢为”(外部惩罚),进化到“不能为”(架构约束),最终达到“不欲为”(内在自觉)。这意味着在AI“成长”阶段,就要把安全规则和道德法律“刻”进它的骨子里,让它从底层逻辑上就明白什么能做、什么不能做。只有把安全的“盾”造得足够坚固,AI这个强大的“矛”才能行稳致远,真正造福人类。

在应对这种全新风险方面,360集团AI安全专家提出了三点建议,首先是企业需要重新认识智能体的身份。智能体已经不是传统的软件账号,也不是普通用户,而是一种具备自主决策能力的新型数字主体。企业在部署智能体时,不能默认它天然可信,而应该像管理重要业务系统一样,对它的权限、访问范围和执行能力进行严格控制。比如哪些数据可以访问、哪些操作可以执行、哪些高风险行为必须经过人工确认,这些都需要提前定义边界。

其次,企业需要从关注“输入输出安全”,升级到关注“全过程安全”。传统的AI安全更多关注模型会不会输出危险内容,但智能体的风险发生在从理解任务到执行动作的整个链路中。需要同时关注它如何理解指令、如何进行决策、调用哪些工具、访问哪些资源,以及出现异常后如何快速发现和处置。

同时智能体安全的核心要围绕“决策控制、执行控制、外部依赖控制”建立全链路治理能力。决策层需要确认 AI 是否理解正确、是否受到恶意诱导;执行层需要控制 AI 能做什么、不能做什么;外部依赖层需要关注模型、知识库等生态组件带来的供应链风险。这样才能让智能体在复杂环境中安全运行。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
即时排名第42!郑钦文下轮对手确定,再赢1场重回金花一姐位置

即时排名第42!郑钦文下轮对手确定,再赢1场重回金花一姐位置

全景体育V
2026-10-08 07:46:10
13天全球票房接近200亿,《阿凡达》被打败,全球最新冠军诞生了

13天全球票房接近200亿,《阿凡达》被打败,全球最新冠军诞生了

影视高原说
2026-10-07 09:55:22
湖南临澧“6·16”烟花爆炸事故调查报告公布

湖南临澧“6·16”烟花爆炸事故调查报告公布

新京报
2026-10-08 21:08:08
刚在节目里道歉求复合,转头又和他黏在一起了

刚在节目里道歉求复合,转头又和他黏在一起了

自愈小日子
2026-10-08 01:41:34
外滩执勤爆火的28岁女特警,曾是国家级田径选手,有多强?

外滩执勤爆火的28岁女特警,曾是国家级田径选手,有多强?

暗香暗香
2026-10-08 17:26:47
中俄走向两条路线?俄方对华晒出强硬姿态,中方反手决定巨额订单

中俄走向两条路线?俄方对华晒出强硬姿态,中方反手决定巨额订单

一家说
2026-10-08 06:56:53
从迪拜劫机事件看有些国内媒体为什么如此容易被打脸?

从迪拜劫机事件看有些国内媒体为什么如此容易被打脸?

细雨中的呼喊
2026-10-08 00:24:22
全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

二胡的岁月如歌
2026-09-30 20:32:42
1997年,蒋纬国去世,他临终前的遗言轰动了整个台湾:“哥哥蒋经国并非父亲蒋介石所生,因为父亲没有生育能力!”

1997年,蒋纬国去世,他临终前的遗言轰动了整个台湾:“哥哥蒋经国并非父亲蒋介石所生,因为父亲没有生育能力!”

回京历史梦
2026-10-08 06:25:08
敬一丹曾爆料:主持揭露东莞特殊服务节目时,她与导演发生争执

敬一丹曾爆料:主持揭露东莞特殊服务节目时,她与导演发生争执

言过于诚
2026-09-21 10:04:14
网友直播猛踩尊界V800刹车:上万人观看,狂收礼物

网友直播猛踩尊界V800刹车:上万人观看,狂收礼物

三言科技
2026-10-08 22:47:16
退出武汉公开赛!22岁高芙回应:中网期间遭遇网暴 身心俱疲 很无奈

退出武汉公开赛!22岁高芙回应:中网期间遭遇网暴 身心俱疲 很无奈

风过乡
2026-10-08 06:36:56
刚刚曝光!特朗普,买入!赚32%

刚刚曝光!特朗普,买入!赚32%

证券时报
2026-10-08 23:43:28
一觉醒来,我的导师获得诺奖了!河南一高校副教授发文恭喜,称导师在科学研究中非常严谨,对学生也十分真诚,去年曾来学校进行指导

一觉醒来,我的导师获得诺奖了!河南一高校副教授发文恭喜,称导师在科学研究中非常严谨,对学生也十分真诚,去年曾来学校进行指导

极目新闻
2026-10-07 01:50:11
岛内民调,蒋万安支持率暴跌,背后真相曝光,新党一人戳穿赵少康

岛内民调,蒋万安支持率暴跌,背后真相曝光,新党一人戳穿赵少康

DS北风
2026-10-08 21:18:04
官宣!杨瀚森队友!正式加盟CBA北控队

官宣!杨瀚森队友!正式加盟CBA北控队

篮球实战宝典
2026-10-08 22:46:06
四川巴中12345常拖欠工资,每月两千多元?招标文件:每人每年投入6.1万;当地:运营方正处置,常拖欠不属实

四川巴中12345常拖欠工资,每月两千多元?招标文件:每人每年投入6.1万;当地:运营方正处置,常拖欠不属实

大风新闻
2026-10-08 17:32:06
今日14时29分,江津正式进入……

今日14时29分,江津正式进入……

江津融媒
2026-10-08 12:18:39
24岁首战!郑钦文中网1/4决赛时间确定:对决乌克兰一姐冲四强

24岁首战!郑钦文中网1/4决赛时间确定:对决乌克兰一姐冲四强

全景体育V
2026-10-08 19:15:52
只有A股和港股在跌!2026年亚洲六大股市表现:港股垫底,与第一名相差78%

只有A股和港股在跌!2026年亚洲六大股市表现:港股垫底,与第一名相差78%

风向观察
2026-10-06 23:20:15
2026-10-09 03:19:00
枢密院十号 incentive-icons
枢密院十号
环球时报官方账号
2002文章数 149804关注度
往期回顾 全部

科技要闻

江淮汽车回应"尊界V800刹车踏板支架断裂"

头条要闻

女局长被举报婚内出轨至少9人 大量亲密聊天记录公布

头条要闻

女局长被举报婚内出轨至少9人 大量亲密聊天记录公布

体育要闻

30天30队·鹈鹕:胖虎又一年“如果”

娱乐要闻

演员王晓慧刚担女主,就被曝已婚生子

财经要闻

央行:中国从不搞竞争性货币贬值

汽车要闻

特别版配色/碳纤尾翼 2027款深蓝L06将于10月9日上市

态度原创

艺术
本地
房产
公开课
军事航空

艺术要闻

炸裂!龙门石窟首次发现造像琉璃眼珠,千年佛像竟“睁眼”了,熠熠闪光品相逆天!

本地新闻

转型再出发 奋勇打头阵

房产要闻

三亚崖州,拟出安居房新政!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美日将在距台仅110公里处演习

无障碍浏览 进入关怀版