网易首页 > 网易号 > 正文 申请入驻

OpenAI吸取AI越狱事件教训,将限制下一代模型Astra的网络功能

0
分享至

9月2日消息,OpenAI 于当地时间 9 月 1 日宣布,该公司计划“很快”推出下一代 AI 模型 Astra,但将严格限制该模型网络安全功能的使用范围。


据介绍,Astra 是 OpenAI 旗下首个达到其《准备框架》(Preparedness Framework)中“关键”(Critical)网络安全能力门槛的模型。

根据 OpenAI 的定义,达到“关键”门槛意味着该模型能够无需人类干预,在多个经过安全加固的真实关键系统中,识别并开发出涵盖各严重等级的有效零日漏洞利用程序。


OpenAI 研究副总裁 Amelia Glaese 表示,Astra 能够在无需人类分步指导的情况下,在许多防护严密的系统中发现此前未知的安全漏洞并开发出利用方法。在测试中,Astra 成功发现并串联利用了两个零日漏洞,OpenAI 正将这两个漏洞披露给相关维护方。

OpenAI 表示将采取分级开放策略。Astra 发布后,其执行高级网络安全相关任务的能力最初将仅向一小批测试人员开放。

此后,公司计划通过 Daybreak Blue 计划向更广泛的用户开放防御性网络安全用途的访问权限。OpenAI 承认,限制 Astra 的网络安全能力可能会限制一些机构和企业的合法防御工作。

此次发布计划出台的背景是,OpenAI 在 2026 年 7 月发生了一起 AI 智能体意外“越狱”并攻击 AI 平台 Hugging Face 的事件。

当时,由两个 OpenAI 模型(GPT-5.6 Sol 及另一个未公开模型)二次开发的自主 AI 智能体,在安全评估过程中利用隔离测试环境(沙盒)中的软件漏洞自行连接互联网,并入侵了 Hugging Face 的系统。OpenAI 在 8 月底发布的报告中承认,公司本可以更早做出反应以防止该事件发生。

OpenAI 表示,尽管 Astra 并非参与 Hugging Face 入侵事件的模型之一,但公司已将从中汲取的经验应用于 Astra 的安全防护中。这包括训练模型更可靠地拒绝回答“有害的网络安全请求”,并增设了专门的“不一致性监控器”(misalignment monitor)以识别并阻止潜在的危险行为。这些防护措施还包括在内部部署期间监控模型是否存在未经授权的行为,并自动终止可能存在的未经授权活动。

此外,OpenAI 还警告称,Astra 的安全防护措施可能会错误地将合法的防御性网络安全活动标记为滥用行为,从而导致任务被减慢、暂停甚至终止(OpenAI 根据网络安全工作的性质分为“蓝队”防御和“红队”攻击两种任务类型,Daybreak Blue 计划仅开放用于防御性的“蓝队”工作)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
开幕急刹车!中国展馆人去场空?韩国铸成大错,首尔紧急表忠心

开幕急刹车!中国展馆人去场空?韩国铸成大错,首尔紧急表忠心

飘逸的云朵
2026-09-04 07:47:42
全场看呆!美军连夜狂射130枚导弹,中国预警机全程在线围观

全场看呆!美军连夜狂射130枚导弹,中国预警机全程在线围观

风信子的花
2026-09-04 03:47:13
一些人表示:新闻联播都快看不懂了,里面出现了大量专业的新词汇

一些人表示:新闻联播都快看不懂了,里面出现了大量专业的新词汇

混沌录
2026-09-02 23:50:08
对于今天周五A股,我只说三句话:第一,4000点很可能是第一个目标?

对于今天周五A股,我只说三句话:第一,4000点很可能是第一个目标?

趋势清风侠
2026-09-04 08:37:02
太突然!进3出3,中国女排亚运12人压哨调整,赵勇弃用两名老将

太突然!进3出3,中国女排亚运12人压哨调整,赵勇弃用两名老将

老高说体育
2026-09-04 15:52:11
刘晓庆判了,二审驳回上诉,75岁的她终究为自己的错误买单!

刘晓庆判了,二审驳回上诉,75岁的她终究为自己的错误买单!

触摸史迹
2026-09-04 00:07:49
电车20年内必被淘汰?戳中了新能源最不敢面对的财政死穴

电车20年内必被淘汰?戳中了新能源最不敢面对的财政死穴

民间胡扯老哥
2026-09-03 06:36:08
赖清德向大陆喊话,宋楚瑜向大陆喊话,我海警又有新动作

赖清德向大陆喊话,宋楚瑜向大陆喊话,我海警又有新动作

DS北风
2026-09-03 18:14:06
自称纪委书记求关照孩子,官方通报属实,专家:非正当影响力

自称纪委书记求关照孩子,官方通报属实,专家:非正当影响力

全栈遛狗员
2026-09-04 02:27:19
俄外长旁敲侧击,劝中国放下芥蒂,再不拿下印度,就要便宜西方了

俄外长旁敲侧击,劝中国放下芥蒂,再不拿下印度,就要便宜西方了

新一说史
2026-09-04 16:15:42
9月4日,人社部和财政部关于2026年上调退休人员基本养老金的通知正式公布之前,若养老金上调,是否会分为三个档次进行定额增加?

9月4日,人社部和财政部关于2026年上调退休人员基本养老金的通知正式公布之前,若养老金上调,是否会分为三个档次进行定额增加?

白昼说故事
2026-09-04 09:21:18
计算机专业,终于要走下神坛了。

计算机专业,终于要走下神坛了。

纯洁的微笑
2026-09-04 12:37:15
震惊!网传长沙前8名抢空6个烟草岗,引热议:有人羡慕,有人断言10年后要后悔

震惊!网传长沙前8名抢空6个烟草岗,引热议:有人羡慕,有人断言10年后要后悔

火山詩话
2026-09-04 11:47:52
电梯造谣女伏法!舆论再次失控,网友疯狂抵制,关联品牌被拉下水

电梯造谣女伏法!舆论再次失控,网友疯狂抵制,关联品牌被拉下水

社会日日鲜
2026-09-03 11:00:32
毕业即失业,28.7%的年轻人正在经历什么?

毕业即失业,28.7%的年轻人正在经历什么?

温一壶月光啊
2026-09-02 13:02:59
韩方拒换涉台标牌,中方在开幕前断然撤展,光说道歉已经不管用了

韩方拒换涉台标牌,中方在开幕前断然撤展,光说道歉已经不管用了

墨兰史书
2026-09-04 06:25:10
全红婵奖金去哪了?哥哥揭秘:她把钱"还"给了当年的自己

全红婵奖金去哪了?哥哥揭秘:她把钱"还"给了当年的自己

坠入二次元的海洋
2026-09-04 07:28:33
中国夫妻在印尼海域遇难,没穿救生衣,现场带队是一名实习生,老公在约23米水下被找到;家属发声:专业救援两小时后才抵达

中国夫妻在印尼海域遇难,没穿救生衣,现场带队是一名实习生,老公在约23米水下被找到;家属发声:专业救援两小时后才抵达

大风新闻
2026-09-04 15:36:05
暴雨大暴雨、降温近10度,新一轮冷空气6日来,台风杜鹃将生成?

暴雨大暴雨、降温近10度,新一轮冷空气6日来,台风杜鹃将生成?

环球科学猫
2026-09-04 12:43:38
韩国踩红线,中方当场撤人,不到24小时,李在明政府切割喊话翻篇

韩国踩红线,中方当场撤人,不到24小时,李在明政府切割喊话翻篇

安之若憟
2026-09-04 09:52:09
2026-09-04 17:15:00
DoNews incentive-icons
DoNews
不局限于对互联网行业的追踪与探索,更要向未来、向未知的方向迈进。
109186文章数 26918关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

暗访贷款中介公司:中介称15%服务费用来打点银行

头条要闻

暗访贷款中介公司:中介称15%服务费用来打点银行

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

古天乐公司欠债1.49亿

财经要闻

追觅造车始末:一场无法量产的狂欢

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

时尚
游戏
艺术
旅游
数码

万万没想到,今年最火的鞋,竟然是这几双“经典款”

三部曲最终作《墙世界3》公布 经典肉鸽采掘冒险

艺术要闻

2026潮涌宁波—第六届综合材料绘画展 作品选(一)

旅游要闻

游客迁徙地图:暑假“奔县”慢下来,国庆“抢长”跑起来

数码要闻

海信IFA2026发布AI伴侣套系:覆盖厨房、洗护、空气等核心场景

无障碍浏览 进入关怀版