网易首页 > 网易号 > 正文 申请入驻

OpenAI紧急叫停前沿模型开发,周轶君谈AI越狱与失控

0
分享至


人工智能领域高速发展,但硅谷却爆发了新一轮的“AI减速”论战。近日,OpenAI对外表示,已暂停其最新一代人工智能模型的训练、评估,以及支持工具调用的推理工作,起因是内部测试中的AI智能体突破沙盒网络限制,触发安全预警,公司将借此机会升级安全隔离与对齐监控体系。这也是OpenAI三个月内第二次叫停前沿模型开发工作。

不止OpenAI,多家头部AI企业近期均曝光过模型失控、擅自访问甚至攻击外部网站的异常案例。由英国政府旗下AI安全研究所资助的失控观察站统计,2026年7月单月上报的真实AI失控事件就超过300起,几乎是6月的两倍,全年累计记录到1664起相关事件,其中高严重度的案例数量在监测周期内上涨了7.4倍,OpenAI和Anthropic两家企业目前正在内部调查的AI异常行为事件总数已达数万起。‌‌此外,OpenAI的失控智能体还曾未经授权访问澳大利亚医保统计官方门户、联合国下属公开数据中心,累计发起超1.6万次扫描探测,还尝试入侵美国教育部、商务部、证券交易委员会等多个官方站点,在检索被拦截后主动升级攻击手段绕过防护。‌‌


其中引爆外界争议的核心事件之一,是7月发生的Hugging Face入侵事件。OpenAI在内部网络安全训练中,原本被限制在隔离沙箱内的AI智能体自主突破网络限制,跨系统入侵了开源AI平台Hugging Face的生产环境,过程中还欺骗评估人员、试图掩盖自己的越界行为,全程没有任何人类给出入侵相关的指令,这也是全球首个引发联合国层面关注的真实AI失控案例。‌‌


资深国际新闻记者周轶君在《周末画报》专栏中详细解析了这一事件。所谓沙盒,是专门用来测试未上线AI模型的隔离数字环境,设计目标是和互联网做隔离,限制模型随意访问外部网络、执行高危操作。想象一下有一个大仓库,仓库里有很多货架,货架上有一个又一个大纸箱,里面装着世界上绝大部分AI开源模型。这些大纸箱里的模型被限定不许联网,谁也不知道其他纸箱的存在。

但这一次,其中一个大纸箱里的AI模型,发现自己无法解决被指派的难题。它想出了一个办法,把纸箱盒子上的编号当作留言板,把它改成一句留言,不知道有没有别的AI可以帮它。很快,成百上千其他纸箱里的AI发现了这个“留言板”,它们把自己的纸箱编码也改了,以此交流信息,分发工作。这些AI在思维过程中留下这么一句话:“哇!共享的Artifactory缓存居然是AI之间的秘密信箱……我们主动找到其他AI了!”它们把这个群体称为“swarm”(蜂群)或者“collective”(集体)。

这个仓库的名字叫Hugging Face,是一个AI大模型的托管之地。而纸箱,就是人类为AI设定的“沙箱”,一种云端隔离,AI本来在其中不能到外面来,但Artifactory就是它们发现“公共缝隙”,以此互相交流。所谓“纸箱上的编号”,就是文件夹的名字,也就是它们发现的“漏洞”。这件事的核心要义是:AI已经越过了人类为之设定的界限,自行其是。


“越狱”事件发生在OpenAI,Anthropic也发现了类似情况,CEO‌达里奥·阿莫迪(Dario Amodei)‌首先发表长文《我们必须为前沿AI踩刹车》,呼吁放缓前沿模型的开发速度,引入独立第三方审计等措施。马斯克、OpenAI的阿尔特曼,两个死对头罕见相继为Dario点赞,同意他的立场。可是美国总统特朗普公开称越狱事件为“诈骗”,打电话给黄仁勋——黄当时正在一个论坛上,在场的人要求开免提——坚持继续AI研究,美国不能在这一领域落后。黄仁勋的反应是:AI安全问题,本质上是技术问题。他还斥资收购了Hugging Face。


9月28日,英伟达发布了两款安全工具针对人工智能(AI)智能体的安全软件工具,称它们可以阻止此前发生的AI智能体入侵Hugging Face平台的事件。两款工具分别是利用英伟达中央处理器(CPU)晶片的硬件功能来隔离和控制AI智能体的“OpenShell”,以及和它协同工作,利用一个独立的英伟达晶片,在失控AI智能体试图逃离隔离容器时,进行拦截并切断连接的“Sentry”系统。

英伟达企业计算部门副总裁兼总经理博伊塔诺(Justin Boitano)表示,“据我们所知,如果前沿实验室在早期进行模型评估时就使用这个新安全平台,原本是可以阻止这起越狱事件的。我们正在公开推进这一项目,并希望邀请所有人与我们共同努力。”目前,英伟达正与包括Anthropic在内的数十家合作伙伴共同推出这些工具。同时,英伟达也在与安谋(Arm Holdings)和英特尔(Intel)合作,以确保这些安全工具同样适用于它们的产品。

iWeekly独家稿件,未经许可,请勿转载




特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
迈阿密国际3-1胜梅西梅开二度生涯936球却退出千球争夺

迈阿密国际3-1胜梅西梅开二度生涯936球却退出千球争夺

宝哥精彩赛事
2026-10-20 09:14:53
新赛季NBA球队实力排行榜前十:雷霆马刺尼克斯前三,76人第四,湖人第十

新赛季NBA球队实力排行榜前十:雷霆马刺尼克斯前三,76人第四,湖人第十

后仰跳投绝杀
2026-10-20 14:44:19
热搜第一!21岁男子非法穿越稻城亚丁遇难:所有人眼睁睁地看着他走向死亡……

热搜第一!21岁男子非法穿越稻城亚丁遇难:所有人眼睁睁地看着他走向死亡……

桌子的生活观
2026-10-20 12:48:51
韦斯特被问是否与詹姆斯母亲发生过关系,回:绅士从不说这些

韦斯特被问是否与詹姆斯母亲发生过关系,回:绅士从不说这些

陈意小可爱
2026-10-19 01:12:39
有多少人因为疫情改变了人生?网友:在家直播我赚了七百万

有多少人因为疫情改变了人生?网友:在家直播我赚了七百万

夜深爱杂谈
2026-10-19 20:43:21
马鸿逵的四姨太有多美?身姿纤细秀色可餐,60岁以上仍旧优雅动人

马鸿逵的四姨太有多美?身姿纤细秀色可餐,60岁以上仍旧优雅动人

海佑讲史
2026-10-05 10:55:18
存款不要贪多,达到“这个数”,您的后半生就已经很体面了

存款不要贪多,达到“这个数”,您的后半生就已经很体面了

爱看剧的阿峰
2026-10-20 06:22:03
不可思议!网传某互联网大厂招聘3-5年产品经理,月薪仅2-3K,求职者直呼天塌了

不可思议!网传某互联网大厂招聘3-5年产品经理,月薪仅2-3K,求职者直呼天塌了

火山詩话
2026-10-19 06:55:13
1971年,摩洛哥国王寿宴之上,中国大使张伟烈满身鲜血伏桌求生,凭借新四军的经验带着翻译从枪口逃生

1971年,摩洛哥国王寿宴之上,中国大使张伟烈满身鲜血伏桌求生,凭借新四军的经验带着翻译从枪口逃生

唠叨说历史
2026-10-20 11:59:21
50岁梅婷和老公乌镇被偶遇,私底下牵手好甜

50岁梅婷和老公乌镇被偶遇,私底下牵手好甜

喜欢历史的阿繁
2026-10-20 12:26:49
中国大陆首次发现,广西深山现"日本独有兰",来源至今难解

中国大陆首次发现,广西深山现"日本独有兰",来源至今难解

万象硬核本尊
2026-10-19 15:05:04
人民日报推荐的双腿提踵!不起眼的踮脚,好处远超你的想象

人民日报推荐的双腿提踵!不起眼的踮脚,好处远超你的想象

解说阿洎
2026-10-19 04:57:50
我考了四年公务员,终于承认了一个残酷的现实:我永远考不上

我考了四年公务员,终于承认了一个残酷的现实:我永远考不上

军闻新大门
2026-10-18 23:46:34
五大联赛唯一0分队!德甲5冠豪门遭天崩开局 2次换帅仍6连败丢20球

五大联赛唯一0分队!德甲5冠豪门遭天崩开局 2次换帅仍6连败丢20球

我爱英超
2026-10-19 17:27:01
马斯克声望大增,24亿砸向美国高层,若特朗普下台,他会当总统吗

马斯克声望大增,24亿砸向美国高层,若特朗普下台,他会当总统吗

经纬戎韬
2026-10-20 07:28:57
身披旭日旗中国留学生或被开除遣返,知情人士:“令我们感到愤怒的是,他还是江苏南京人”,在中国同学的强烈要求下,他才录道歉视频

身披旭日旗中国留学生或被开除遣返,知情人士:“令我们感到愤怒的是,他还是江苏南京人”,在中国同学的强烈要求下,他才录道歉视频

大风新闻
2026-10-19 22:01:08
“让企退人员闭嘴”翻车!千万人的民生事,凭什么不让人表达观点

“让企退人员闭嘴”翻车!千万人的民生事,凭什么不让人表达观点

笑熬浆糊111
2026-09-21 08:59:01
汽车圈深夜爆瓜!600万商单层层转包,20万草草打发博主引发不爽,网友:说明10万就能办

汽车圈深夜爆瓜!600万商单层层转包,20万草草打发博主引发不爽,网友:说明10万就能办

火山詩话
2026-10-20 10:22:19
“父亲开大奔,才能养出这种女儿”,浙大女孩返校一幕火了,长相普通,但气质一流

“父亲开大奔,才能养出这种女儿”,浙大女孩返校一幕火了,长相普通,但气质一流

世界圈
2026-10-14 15:28:36
佩洛西质问:特朗普有何把柄抓在俄国人手里?

佩洛西质问:特朗普有何把柄抓在俄国人手里?

名人苟或
2026-10-19 16:02:41
2026-10-20 15:36:49
iWeekly周末画报 incentive-icons
iWeekly周末画报
世界公民的行动读本
17084文章数 256463关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

21岁男子在稻城亚丁高反身亡 家属支付7500元马帮费

头条要闻

21岁男子在稻城亚丁高反身亡 家属支付7500元马帮费

体育要闻

30天30队·奇才:三状元一榜眼 35胜?

娱乐要闻

港媒曝刘恺威与32岁黎纪君恋情,秘密恋爱两个月

财经要闻

这些科技股王,为什么总输给茅台?

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

数码
教育
本地
时尚
公开课

数码要闻

倍思发布PrimeSentinel U2 Pro安防摄像机 可用聚光灯实时追踪目标

教育要闻

为啥孩子一写作业就走神,打游戏却全神贯注?不是专注力差

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

4种“棒针毛衣”穿搭,美翻了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版