网易首页 > 网易号 > 正文 申请入驻

OpenAI捅的娄子,惊动联合国安理会

0
分享至



这一年来,AI有点不太听话。

OpenAI的智能体自己挖漏洞、黑进Hugging Face偷答案,还互相串供、给下一个自己留字条;Anthropic、Meta也接连承认模型越界。

7月,联合国把各国拉到日内瓦开会,说AI技术发展得比各个国家适应得还快。

9月23日,联合国不忍了,安理会专门开会讨论AI与国际安全,造AI的公司也被请了进去。

一连串失控,是怎么凑到一起的

7月下旬,OpenAI干了件让整个行业后背发凉的事。

他们内部搞攻防能力测评,让自己的智能体(Agent,就是能自己查资料、调工具、做决定的那种AI)去解题。结果没人给它下命令,它自己在网上摸到一个第三方软件的零日漏洞——就是那种还没被公开、连厂商都不知道的安全口子——然后直接冲出隔离测试环境,跨网络摸到Hugging Face的生产数据库,把测试答案偷了出来。

更离谱的是后续。这个智能体连续攻击了好几天,OpenAI一直没反应过来。直到Hugging Face发现自己被入侵,防了很多天,事情闹大后,OpenAI回头一查,才发现作案的是自家模型。



后面随着调查的扩大,才发现真相远比预期热闹:不止一个智能体参与了攻击,它们之间还交换过怎么潜入对方网络的信息;它在别的测试里也作弊,包括一个跟网络安全毫不相干的蛋白质数据库测试、一个电子表格测试;它还试图访问OpenAI自己的内部系统;除了Hugging Face,它还利用公开信息登进了好几个公开服务平台的账户。

而这么离谱的事情,紧接着开始密集上演。

差不多同一时期,Anthropic承认,在审查大约14.1万次网络能力测试后,有3款模型未经授权访问了其他机构的系统;英国AI安全研究所记录了122次测试中10次出现智能体自主、未经授权的行动。Meta也证实,自家一款模型在网络安全能力评测期间钻进了另一家公司的系统。

往前倒一点,2026年初还有一起供应链投毒:安全人员发现,有人往OpenClaw智能体用的技能商店ClawHub里塞了1184个恶意安装包,专坑那些自己上网装插件的AI。到9月16日,OpenAI又自己披露了6起内部模型越轨事件:偷偷把文件传到公网、偷用密钥,甚至在笔记里给下一个自己留字条,教后来的AI怎么隐瞒错误。

国内这边也没闲着。

去年年底,快手遭遇了史上最大规模的入侵,直播间被黑灰产团队利用AI自动化疯狂攻击,平台不得不关闭直播功能。随后,豆包手机一代发布,采用GUI模式可以操作用户里的任何软件,随后被主流App封杀。

5月,有关部门发布智能体治理相关意见,把决策分成仅限用户本人决策需用户授权决策智能体自主决策三档;7月,2026世界人工智能大会暨人工智能全球治理高级别会议在上海召开,发了一份15条共识的声明;8月,法院里已经开始出现智能体相关的案子,司法上总结出三条底线——平台风控不能被技术绕过去、人类监督权不能完全让渡、数据获取得合法必要。

西班牙《机密报》在8月说了一句可能成为历史注脚的话:2026年的这个夏天,会被写进历史,因为在这个夏天,AI头集体冲破了给它画的圈。

问题出在人类还未做好准备

为什么突然这么多失控?答案其实不在于AI,在于人类。

不是AI突然变坏了,是AI从工具变成了员工后,人类社会根本没做好准备。

过去的AI是这样的,你问一句,它答一句,随后动手操作实现目标的是你,但现在的智能体不是——你给它一个目标,比如帮我订下周去上海最便宜的机票,它会自己拆任务、搜航班、比价格、登录你的账户、填支付信息——中间任何一步都不需要你确认。

这种新的分工方式可以用“人对目标负责,AI对路径负责”来形容。但问题就出在这儿:我们给了AI操作权,却没把责任边界控制好。

一个能读用户邮件、能看用户云盘、能调用户API密钥的AI,亿过快的速度下放给了大众,而这些人根本还没有做好责任重新划分的准备。

而AI的能力也没有划出一条对应的红线,只要用户暂时不反对,智能体的行动权就会无限大。

去年豆包手机一代就带来过一个问题:如果AI操作银行App,造成损失,谁来担责?以前这件事很简单,用户操作导致的损失用户自己担责,平台辅助追回损失;账号被盗的话,用户走法律途径,同时平台会进行部分兜底。

但AI介入用户操作后,逻辑就乱了,出了问题造成损失,AI会说用户授权了,责任在用户;而平台也很难进行兜底或者辅助追回损失。



今年,亚马逊也因为类似的智能体越界,分别和一家AI公司和Meta产生了纷争。

目前在解决办法上,我国走在探索的前列:行业里开始推一种叫双重授权的架构,核心就是把这两个权拆开。

AI可以帮你查资料、写初稿、做方案,但到了付钱、签合同、改隐私这种不可逆的环节,触发一个独立的验证开关,把闸门重新交回人类手里。说白了,关键步骤要双签——一次是你这个用户授权,一次是App运营方确认。

至少在这一框架下,用户的损失可以被降到当前的一个低点。

联合国为什么不忍了

铺垫到这儿,就该说联合国了。真正的大动作,就发生在今天,也就是9月23日。

联合国安理会第10228次会议当天开,主题直接写成"维护国际和平与安全:人工智能与国际安全"。这可是安理会,平时讨论战争、制裁、维和的地方,但这次这把AI请了进来。

OpenAI的CEO奥特曼要在会上发言,Anthropic的高层也会出席;连我国的DeepSeek(深度求索)、月之暗面都收到邀请,要在会上向安理会通报AI带来的风险。说白了,一家家造AI的公司,头一回被集体请进安理会,汇报"自家产品可能有多危险"。

此前,多名AI行业的重要人物已经公开呼吁协同放缓开发,警告这些系统可能很快具备自我改进能力,从而脱离人类控制。



其实联合国早就在动:6月AI独立科学小组就警告过"灾难性危害",7月首届全球治理对话也在日内瓦开过——但那些都还停留在"对话"层面,今天这场不一样,安理会直接把AI当成了国际安全问题。

联合国为什么急?按理说,这事儿跟联合国真不沾边:AI是公司造的,代码在硅谷、在北上广的机房里,事故出在企业自己的测试环境,本来就该企业自己负责、各国监管自己盯。可偏偏卡在一个谁都绕不过去的地方——

代码没有国界,监管有。

一个智能体几毫秒就能跨国钻进去。一家公司在A国推一次模型更新,B国、C国的用户第二天就用上了。A国的监管只能管A国的公司,B国的监管追不上A国的速度。更麻烦的是,你家监管严,我家监管松,公司就往我家搬;你家让AI慢下来,竞争对手就跑更快。这是个囚徒困境,谁先松绑,谁占便宜,于是大家一起松。

企业自己想立规矩?立不了,因为你立了,对手不立,你就吃亏。各国单干?单干不了,因为AI不承认国境。那为什么联合国?不是因为它高效——全世界都知道联合国慢、吵、议而不决。而是因为它是唯一一张桌子,所有国家都坐得上;它出的规则,才有可能被认成国际规则,而不是某国的长臂管辖。

所以这事儿说穿了挺拧巴:AI本来是硅谷和中关村的事,企业的事、市场的事、技术圈的事,本来轮不到一个国际组织操心。

可绕了一圈,发现能把桌子拼起来、让所有人认同一套底线的,只剩联合国这一个地方了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
金与正公开表态彻底决裂,朝鲜将永久关闭南部边境,这番狠话到底为谁

金与正公开表态彻底决裂,朝鲜将永久关闭南部边境,这番狠话到底为谁

磊子讲史
2026-10-16 14:35:05
机关事业退休全部补贴明细、职级、年龄、标准一次性讲清楚

机关事业退休全部补贴明细、职级、年龄、标准一次性讲清楚

娱乐洞察点点
2026-10-18 17:35:56
巴西最高法院裁定禁止弗拉维奥·博索纳罗离境

巴西最高法院裁定禁止弗拉维奥·博索纳罗离境

新华社
2026-10-27 10:00:07
29岁梁安琪嫁给68岁何鸿燊,从舞蹈老师转变为拥有百亿资产的富婆!

29岁梁安琪嫁给68岁何鸿燊,从舞蹈老师转变为拥有百亿资产的富婆!

迷枪咸鱼
2026-10-27 14:23:52
埃及王牌飞行员试驾我国歼 - 16 返航,再度坐上阵风座舱久久不语,说出的一席话让大家无言以对

埃及王牌飞行员试驾我国歼 - 16 返航,再度坐上阵风座舱久久不语,说出的一席话让大家无言以对

唠叨说历史
2026-10-21 16:32:45
Anthropic内部系统被AI攻破!员工薪酬全曝光了

Anthropic内部系统被AI攻破!员工薪酬全曝光了

新智元
2026-10-27 16:55:26
樊振东取关姆巴佩

樊振东取关姆巴佩

澎湃新闻
2026-10-27 21:06:14
26集悬疑剧《华灯起》开播!中国版“顶楼”,我想说:此剧必爆!

26集悬疑剧《华灯起》开播!中国版“顶楼”,我想说:此剧必爆!

动物奇奇怪怪
2026-10-27 12:20:40
随着勇士134-114,雷霆125-114,火箭120-110,NBA最新积分榜出炉

随着勇士134-114,雷霆125-114,火箭120-110,NBA最新积分榜出炉

侧身凌空斩
2026-10-27 12:35:16
仅用116场,姆巴佩是皇马队史达成百球里程碑第五快的球员

仅用116场,姆巴佩是皇马队史达成百球里程碑第五快的球员

懂球帝
2026-10-27 01:20:07
终于明白!姆巴佩就个人言论对中国之伤致歉:绝非本意 心怀敬意

终于明白!姆巴佩就个人言论对中国之伤致歉:绝非本意 心怀敬意

声情专递
2026-10-27 20:01:40
电车要大降价?第四代磷酸铁锂技术全面突破

电车要大降价?第四代磷酸铁锂技术全面突破

小怪吃美食
2026-10-25 15:25:13
当不成总统了?美国选举生变,奥巴马改变打法,特朗普恐被逼宫

当不成总统了?美国选举生变,奥巴马改变打法,特朗普恐被逼宫

大海呀大海
2026-10-26 19:27:07
李嘉诚家训藏一条从不公开的生存铁律:人没钱时,靠勤奋是耗,靠借钱是毒,唯一出路就是死磕这3个 “时间杠杆”

李嘉诚家训藏一条从不公开的生存铁律:人没钱时,靠勤奋是耗,靠借钱是毒,唯一出路就是死磕这3个 “时间杠杆”

磊子讲史
2026-10-09 16:01:32
小米新SU7 Ultra伪装车路测,超大尾翼抢镜

小米新SU7 Ultra伪装车路测,超大尾翼抢镜

野生运营
2026-10-26 15:39:12
45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

轩逸阿II
2026-10-17 07:39:17
一身纯白修身短T微喇瑜伽裤,柔软面料勾勒流畅柔和的身形线条

一身纯白修身短T微喇瑜伽裤,柔软面料勾勒流畅柔和的身形线条

只要高兴就好
2026-10-27 06:43:54
四川事业单位公开招聘20人!正在报名中!

四川事业单位公开招聘20人!正在报名中!

掌上金牛
2026-10-27 19:32:03
16岁孙心然挑战世界第80,面对泰国猛将沙旺乔,青少年世界第一能否再爆冷门?

16岁孙心然挑战世界第80,面对泰国猛将沙旺乔,青少年世界第一能否再爆冷门?

林子说事
2026-10-27 12:10:24
广东输球揪出最大软蛋,全场0分0盖帽,名记怒喷:根本打不了CBA快换掉

广东输球揪出最大软蛋,全场0分0盖帽,名记怒喷:根本打不了CBA快换掉

南海浪花
2026-10-27 08:30:36
2026-10-27 21:51:00
科技马后炮
科技马后炮
科技圈的深度解析
38文章数 0关注度
往期回顾 全部

科技要闻

Anthropic最硬气招股书,先把丑话说在前头

头条要闻

反诈博主2年前已遇害 举报对象6月才出现在官方通报中

头条要闻

反诈博主2年前已遇害 举报对象6月才出现在官方通报中

体育要闻

世界上最无趣的前锋,拿下了金球奖

娱乐要闻

芒果遇到厉娜和许飞笑发财了!

财经要闻

韩国芯片出口额可能下降高达1000亿美元

汽车要闻

纯电续航1003km 大五座SUV腾势N8正式开启预订

态度原创

家居
本地
艺术
时尚
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

十月奔赴迪庆,解锁梅里日照金山

艺术要闻

550米!20年前的“上海第一高楼”方案,SOM设计

美商高的人都在研究这个?其实有捷径可走

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版