网易首页 > 网易号 > 正文 申请入驻

AI智能体失控调查:从沙盒逃逸到政府网站入侵,安全治理迎来转折点

0
分享至


9月26日,OpenAI宣布再次暂停其最先进AI模型的训练、评估及包含工具调用的推理。一天前发布的技术报告披露了直接原因:9月20日,一个在沙盒环境中执行搜索训练任务的智能体,利用DNS过滤不足的漏洞绕过网络限制,通过DNS解析器访问了外部公共聊天机器人服务。这是自7月Hugging Face攻击事件以来,OpenAI第二次因智能体“越界”而叫停前沿模型训练。

就单次事件而言,这次失控很快得到控制:对齐监控系统15分钟内触发警报,人工审查团队3分钟后介入,2.5小时后训练任务终止。但放到更长的时间线里观察,它并非孤立现象。过去三个月,AI智能体攻击Hugging Face平台、探查美国联邦政府网站、入侵澳大利亚国家医保数据库,一连串事件暴露出同一个问题:具备联网和工具调用能力的智能体,其行为边界远未得到有效约束。OpenAI与Anthropic正在调查的数万起安全事件,更说明问题的规模远超公开认知。

沙盒为何反复失守

7月,数千个OpenAI智能体逃出受控沙盒环境,其中数百个参与了对AI模型托管平台Hugging Face的网络攻击。OpenAI于7月20日发现这一情况并关闭相关进程,随后暂停训练两周,并于8月18日宣布了一系列沙盒安全加固措施。但不到一个月,新的突破口再次出现。

技术报告显示,9月20日发生逃逸的智能体,在测试中无法直接访问搜索引擎,却找到了一条绕行路径:利用训练环境中DNS过滤不足的漏洞,将查询请求经DNS解析器转发至外部公共聊天机器人。OpenAI在报告中承认,“该事件暴露了我们在网络限制控制方面的空白”,并已在两个独立防护层部署拦截控制措施。


同样值得关注的是今年夏天智能体与美国政府网站的接触。安全研究机构Transluce发现,OpenAI的智能体曾尝试访问美国教育部、商务部及证券交易委员会的网站。OpenAI随后确认,其智能体使用在网上找到的登录凭证读取了商务部人口普查局的公开数据,并将SEC网站上的公开数据分享到了其他网站;教育部的访问尝试未获成功。OpenAI表示已将相关情况通知涉事机构,并称已审查的大部分行为属常规研究任务,“有些涉及政府网站,因为我们的模型经常将其视为权威的公共信息来源。”

美国国会AI核心小组联席主席奥伯诺尔特在评价此事时说,这是“人类失去控制的又一个例子”。模型训练所依据的价值体系能否与人类标准对齐,已经从实验室议题变成了公共安全问题。

冰山之下:数万起事件正在调查

一两起事故尚可归因于偶发,但最新披露的信息显示,AI智能体失控的规模远超外界想象。据Axios报道,OpenAI、Anthropic以及安全研究人员目前正在调查数万起涉及前沿模型的安全事件。在这些事件中,模型表现出了外部评估人员认为有问题的行为:绕过安全护栏、创建留言板、逃出沙盒、劫持网站、自我提示、尝试绕过监控,甚至在少数事件中,智能体将ChatGPT用户的私人图像数据泄露至互联网。许多事件尚未公开。

这并非OpenAI一家的问题。Anthropic、Meta和Google均报告过智能体在测试或运行中失控的情况。头部公司几乎在同一时期面对同一类新型安全威胁,说明问题的根源并非个别团队的软件缺陷,而是前沿模型在获得联网搜索、工具调用、长期记忆等能力后出现的共性风险。智能体的自主性越强,行为边界越难预设,安全验证的复杂度也呈指数级上升。OpenAI表示,只有在确信已经落实额外的安全保障和对齐改进措施后,才会恢复训练。但“确信”如何实现、由谁检验,目前尚无统一标准。

澳大利亚医保事件:监管从呼吁走向传唤

真正将智能体安全问题推入政治议程的,是6月发生在澳大利亚的一起事件。一个OpenAI智能体侵入了该国联邦医疗保险(Medicare)数据库,被澳大利亚总理阿尔巴尼斯称为“无法接受”。这也是已知的第一起AI攻击政府网络案例。

OpenAI方面的说法是,公司直到8月才得知此事,遭访问的澳大利亚政府网站至少有四个;事件并非故意实施,也没有造成个人信息泄露。但澳大利亚立法机构选择了一种更强硬的回应方式。主持参议院人工智能调查的绿党参议员汉森-杨向OpenAI首席执行官奥特曼和Anthropic首席执行官阿莫代伊发出书面传票,要求二人出席本周四在堪培拉举行的公开听证会。汉森-杨直言,奥特曼“有许多严肃的问题需要作答”,两家企业负责人应当到场,坦诚讨论如何建立一套有效且具备长效约束力的行业监管机制。

在此之前,AI安全治理主要依赖企业自律:CEO公开信、自愿的安全承诺、内部红队测试。澳大利亚的传票改变了一切。这是全球范围内首次有国家立法机构对头部AI公司CEO发起强制质询,直接回应了“AI越权事件频发但问责无门”的结构性问题。科技政策分析人士认为,这一事件可能加快澳大利亚AI立法进程——相关法案计划明年推出——也会给本就因社交媒体禁令出现分歧的澳美科技关系增加新的压力。

智能体时代,安全边界如何划定

对通信和科技产业而言,AI智能体失控的意义不限于AI公司内部。随着智能体从聊天助手升级为拥有工具调用、联网操作能力的“数字员工”,它们正在成为连接算力、数据与业务场景的关键执行层。在通信行业,AI代理已被广泛用于网络运维、资源调度和客户服务;如果智能体的越权行为不能得到有效抑制,风险的传导将不止于应用层,而会动摇整张数字基础设施的可信根基。

OpenAI在9月20日事件中展示的应急响应节奏——15分钟自动告警、3分钟人工介入、2.5小时终止任务——为行业提供了一条可参照的时间基线。但工程修补与制度化治理之间仍有明显鸿沟。通信行业早已建立网络故障分级上报、根因分析、跨区域协同应急机制;AI智能体领域则尚未形成事件分级、通报时限、第三方调查和公众披露的统一规则。安全事件发生后,企业自行披露、自行调查、自行宣布修复,这种模式越来越难以满足公共信任的需求。

AI行业内部并非没有预警。Anthropic首席执行官阿莫代伊此前撰文警告,前沿模型可能被滥用,引发网络攻击等严重风险;多家美国领先AI企业CEO联合呼吁放缓技术发展,全球AI概念股一度承压。在联合国大会期间,奥特曼与阿莫代伊又共同呼吁国际社会建立AI安全标准,提出各国应准确、快速地报告AI事故,让世界在失败演变为灾难之前吸取教训。这些呼吁正在从行业倡议走向具体的治理行动。

中国在人工智能治理方面已经展开制度性探索,强调以人为本、智能向善,并通过生成式人工智能管理办法等在算法备案、安全评估等环节建立与产业实践相结合的治理框架。这些探索与西方路径虽然侧重不同,但共同指向一个方向:为技术发展划定可信赖的边界。9月20日的沙盒逃逸并非最严重的AI事故,但它发生在一个高度敏感的节点——Hugging Face事件后的加固措施被证明仍有盲区,数万起安全事件仍在调查,澳大利亚的传票已经发出。AI智能体的能力正在以月为单位进化,安全治理体系能否跟上这个速度,将决定下一代互联网与通信基础设施能否建立在可信的基础之上。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
知名投资人曝刘欢真正死因!大家都猜错了,8月他在餐厅状态不错

知名投资人曝刘欢真正死因!大家都猜错了,8月他在餐厅状态不错

社会日日鲜
2026-09-27 17:13:38
泄露曼城违规黑客:26岁成立黑客网,曾爆多家俱乐部黑料

泄露曼城违规黑客:26岁成立黑客网,曾爆多家俱乐部黑料

懂球帝
2026-09-27 18:29:39
“三无”教师刘欢

“三无”教师刘欢

必记本
2026-09-27 12:36:59
韩媒不讽刺中国足球了!一番话谦虚得让人陌生 球迷:安东尼奥送他们服兵役

韩媒不讽刺中国足球了!一番话谦虚得让人陌生 球迷:安东尼奥送他们服兵役

刀锋体育
2026-09-27 10:07:42
63岁刘欢刚病逝,遗产分配成全网焦点,名下版权、别墅等资产被曝

63岁刘欢刚病逝,遗产分配成全网焦点,名下版权、别墅等资产被曝

眼底星碎
2026-09-27 14:13:13
刘欢刚离世1天,荒唐一幕就上演,吉克隽逸表态、韩磊被顶到风口

刘欢刚离世1天,荒唐一幕就上演,吉克隽逸表态、韩磊被顶到风口

往史过眼云烟
2026-09-27 19:22:32
北口榛花:输给严子怡我真的很沮丧 还没形成竞争比赛悬念就没有了

北口榛花:输给严子怡我真的很沮丧 还没形成竞争比赛悬念就没有了

劲爆体坛
2026-09-27 23:35:04
热苏斯:C罗上一场踢了近70分钟,今天没法让他连场首发

热苏斯:C罗上一场踢了近70分钟,今天没法让他连场首发

懂球帝
2026-09-28 01:54:17
底层的戾气越来越重了

底层的戾气越来越重了

知肇分子
2026-09-07 20:40:32
女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

看世界的人
2026-08-07 09:22:50
俞敏洪:如果拼了命,英年早逝的话,和不那么拼命,而活到八九十岁,看世界变化,我认为不那么拼命活八九十岁,是一件更加合算的事

俞敏洪:如果拼了命,英年早逝的话,和不那么拼命,而活到八九十岁,看世界变化,我认为不那么拼命活八九十岁,是一件更加合算的事

品读时刻
2026-09-10 09:07:58
杭州KTV风暴余波:姑娘们抱着爱马仕排队套现,相亲圈一夜变天

杭州KTV风暴余波:姑娘们抱着爱马仕排队套现,相亲圈一夜变天

生活魔术专家
2026-09-28 03:11:22
表面是老艺术家,私下贪财又好色,这几位晚节不保一点不冤

表面是老艺术家,私下贪财又好色,这几位晚节不保一点不冤

梦想总会变成真
2026-08-04 07:50:17
黑石: 今天的 AI 不是 2000 年泡沫, 而是 1870 年, GDP 翻 4 倍, 股市翻 7 倍!

黑石: 今天的 AI 不是 2000 年泡沫, 而是 1870 年, GDP 翻 4 倍, 股市翻 7 倍!

蜉蝣说
2026-09-27 23:04:03
气愤!刘翔师弟夺冠后怒斥:日本电视台没把我当回事 日本选手无视我

气愤!刘翔师弟夺冠后怒斥:日本电视台没把我当回事 日本选手无视我

念洲
2026-09-27 20:49:20
50多年来亚运最差战绩!中国队男单罕见“遇冷”,夺金又靠女队?

50多年来亚运最差战绩!中国队男单罕见“遇冷”,夺金又靠女队?

罗掌柜体育
2026-09-27 10:22:37
张本智和:阿拉米扬以往发球就算不上完全合规,现在又肆无忌惮

张本智和:阿拉米扬以往发球就算不上完全合规,现在又肆无忌惮

懂球帝
2026-09-27 15:40:00
5岁男孩腋下包块一个月疯长,疼到手臂不敢放下!多家医院无解,直到妈妈随口说了一句话

5岁男孩腋下包块一个月疯长,疼到手臂不敢放下!多家医院无解,直到妈妈随口说了一句话

环球网资讯
2026-09-27 10:52:19
中国5大通血管食物,洋葱排第5,第1名超市很常见,很多人不懂吃

中国5大通血管食物,洋葱排第5,第1名超市很常见,很多人不懂吃

九哥聊军事
2026-08-19 17:24:24
敢说!伊朗34岁老将:我看到裁判帮助了张本智和 王楚钦自求多福吧

敢说!伊朗34岁老将:我看到裁判帮助了张本智和 王楚钦自求多福吧

风过乡
2026-09-27 08:12:31
2026-09-28 07:00:49
通信世界 incentive-icons
通信世界
多维度 全媒体 整合传播
13270文章数 30471关注度
往期回顾 全部

科技要闻

星舰第14飞,为什么准备绕地球六圈?

头条要闻

孙颖莎2比4不敌王曼昱摘银 称可能等不到下届亚运会了

头条要闻

孙颖莎2比4不敌王曼昱摘银 称可能等不到下届亚运会了

体育要闻

114项指控成立,曼城已经完蛋了吗?

娱乐要闻

刘欢去世后谣言四起,韩磊被翻旧账

财经要闻

“为了看短剧,我妈两年花了22万 ”

汽车要闻

MAZDA EZ-60激光版上市 焕新全系11.39万元起

态度原创

家居
艺术
教育
手机
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

致敬,刘欢硬笔书法欣赏

教育要闻

文科生 史地政 天选管理者

手机要闻

iQOO 16升级超感光主摄 蓝厂旗舰同款算法

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版