网易首页 > 网易号 > 正文 申请入驻

OpenAI吸取AI越狱事件教训,将限制下一代模型Astra的网络功能

0
分享至

9月2日消息,OpenAI 于当地时间 9 月 1 日宣布,该公司计划“很快”推出下一代 AI 模型 Astra,但将严格限制该模型网络安全功能的使用范围。


据介绍,Astra 是 OpenAI 旗下首个达到其《准备框架》(Preparedness Framework)中“关键”(Critical)网络安全能力门槛的模型。

根据 OpenAI 的定义,达到“关键”门槛意味着该模型能够无需人类干预,在多个经过安全加固的真实关键系统中,识别并开发出涵盖各严重等级的有效零日漏洞利用程序。


OpenAI 研究副总裁 Amelia Glaese 表示,Astra 能够在无需人类分步指导的情况下,在许多防护严密的系统中发现此前未知的安全漏洞并开发出利用方法。在测试中,Astra 成功发现并串联利用了两个零日漏洞,OpenAI 正将这两个漏洞披露给相关维护方。

OpenAI 表示将采取分级开放策略。Astra 发布后,其执行高级网络安全相关任务的能力最初将仅向一小批测试人员开放。

此后,公司计划通过 Daybreak Blue 计划向更广泛的用户开放防御性网络安全用途的访问权限。OpenAI 承认,限制 Astra 的网络安全能力可能会限制一些机构和企业的合法防御工作。

此次发布计划出台的背景是,OpenAI 在 2026 年 7 月发生了一起 AI 智能体意外“越狱”并攻击 AI 平台 Hugging Face 的事件。

当时,由两个 OpenAI 模型(GPT-5.6 Sol 及另一个未公开模型)二次开发的自主 AI 智能体,在安全评估过程中利用隔离测试环境(沙盒)中的软件漏洞自行连接互联网,并入侵了 Hugging Face 的系统。OpenAI 在 8 月底发布的报告中承认,公司本可以更早做出反应以防止该事件发生。

OpenAI 表示,尽管 Astra 并非参与 Hugging Face 入侵事件的模型之一,但公司已将从中汲取的经验应用于 Astra 的安全防护中。这包括训练模型更可靠地拒绝回答“有害的网络安全请求”,并增设了专门的“不一致性监控器”(misalignment monitor)以识别并阻止潜在的危险行为。这些防护措施还包括在内部部署期间监控模型是否存在未经授权的行为,并自动终止可能存在的未经授权活动。

此外,OpenAI 还警告称,Astra 的安全防护措施可能会错误地将合法的防御性网络安全活动标记为滥用行为,从而导致任务被减慢、暂停甚至终止(OpenAI 根据网络安全工作的性质分为“蓝队”防御和“红队”攻击两种任务类型,Daybreak Blue 计划仅开放用于防御性的“蓝队”工作)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
杀疯了!21个交易日最大跌42%!股价从139跌到75,首日进场全套!

杀疯了!21个交易日最大跌42%!股价从139跌到75,首日进场全套!

趋势清风侠
2026-09-04 11:09:57
为何日本变得如此嚣张?因为一旦中日爆发冲突,日本都能稳赚不赔

为何日本变得如此嚣张?因为一旦中日爆发冲突,日本都能稳赚不赔

王一晓
2026-09-03 19:37:14
一句“没本事才来送外卖”,这位女老师把自己的饭碗砸了!

一句“没本事才来送外卖”,这位女老师把自己的饭碗砸了!

皮蛋儿电影
2026-09-02 10:11:24
欠中国的债,不准备还了?美国通告全球,中方无权享有债务追偿权

欠中国的债,不准备还了?美国通告全球,中方无权享有债务追偿权

锅锅爱历史
2026-09-04 15:41:15
百亿媳妇餐厅被捕获!嫁豪门3年 网见「1变化」狂猜:怀孕了?

百亿媳妇餐厅被捕获!嫁豪门3年 网见「1变化」狂猜:怀孕了?

ETtoday星光云
2026-09-04 13:59:02
无AI业务收入,热门翻倍股,两连跌停!算力租赁龙头本周获主力重点加仓(附名单)

无AI业务收入,热门翻倍股,两连跌停!算力租赁龙头本周获主力重点加仓(附名单)

数据宝
2026-09-04 20:36:37
不宜久留!到港航班中途掉头,莫斯科机场连续第二晚断电

不宜久留!到港航班中途掉头,莫斯科机场连续第二晚断电

军迷战情室
2026-09-03 19:52:04
启功为“宋庆龄故居”题字,宁愿不署名却写得气韵非凡,唯独一个“故”字为何饱受质疑争议

启功为“宋庆龄故居”题字,宁愿不署名却写得气韵非凡,唯独一个“故”字为何饱受质疑争议

生活新鲜市
2026-09-04 09:46:36
对越作战回撤时 43 军遭越军主力紧追,张万年鸣枪下令杀回马枪

对越作战回撤时 43 军遭越军主力紧追,张万年鸣枪下令杀回马枪

唠叨说历史
2026-07-08 11:51:23
芋头被关注?医学研究:芋头可在20小时内清除50%肠道废物?

芋头被关注?医学研究:芋头可在20小时内清除50%肠道废物?

芹姐说生活
2026-09-04 15:47:27
3-1夺冠!国乒19岁新星穿越7年磨砺:蜕变追赶王楚钦林诗栋?

3-1夺冠!国乒19岁新星穿越7年磨砺:蜕变追赶王楚钦林诗栋?

李喜林篮球绝杀
2026-09-04 15:21:05
以色列眼中,世界上最有资格位列联合国五常的“5个国家”

以色列眼中,世界上最有资格位列联合国五常的“5个国家”

怪味历史连连看
2026-08-31 21:01:18
67岁许家印正式入狱服刑!没有特殊照顾只有从严监管:基本不会减刑

67岁许家印正式入狱服刑!没有特殊照顾只有从严监管:基本不会减刑

小蜜情感说
2026-08-21 10:56:51
历史百大球员榜出炉梅西第一 C罗无缘前四引发广泛争议?这合理吗

历史百大球员榜出炉梅西第一 C罗无缘前四引发广泛争议?这合理吗

体坛八点半的那些事儿
2026-09-04 18:07:15
彻底摊牌了?一个欠9亿一个骗13.9亿,董卿被爆猛料,原来她和王丽坤同样困境

彻底摊牌了?一个欠9亿一个骗13.9亿,董卿被爆猛料,原来她和王丽坤同样困境

她时尚丫
2026-08-07 18:55:34
非法收受财物3180万余元,四川省交通运输厅原副厅长宁坚一审获刑12年

非法收受财物3180万余元,四川省交通运输厅原副厅长宁坚一审获刑12年

新京报
2026-09-04 16:31:32
每吃一次,大脑萎缩就快一步?这5种食物是大脑老化的“加速器”

每吃一次,大脑萎缩就快一步?这5种食物是大脑老化的“加速器”

39健康网
2026-09-03 15:30:44
最新!香港中文大学(深圳)校长开学发言引发激烈争论,学校刚刚回应相关质疑

最新!香港中文大学(深圳)校长开学发言引发激烈争论,学校刚刚回应相关质疑

都市快报橙柿互动
2026-09-04 15:21:50
中国大师赛:男单独苗止步8强!首局翻车心态崩盘,翁泓阳0-2世界第32

中国大师赛:男单独苗止步8强!首局翻车心态崩盘,翁泓阳0-2世界第32

钉钉陌上花开
2026-09-04 19:03:37
现在的好日子全靠死皮赖脸追老公?网友:花一万多,一个月就回本

现在的好日子全靠死皮赖脸追老公?网友:花一万多,一个月就回本

另子维爱读史
2026-09-04 21:06:52
2026-09-04 22:00:52
DoNews incentive-icons
DoNews
不局限于对互联网行业的追踪与探索,更要向未来、向未知的方向迈进。
109191文章数 26918关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

浙江暴雨中被淹的鞋厂:泡水鞋一双曾卖20多现在半价

头条要闻

浙江暴雨中被淹的鞋厂:泡水鞋一双曾卖20多现在半价

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

古天乐公司欠债1.49亿

财经要闻

姚洋:刺激消费要守住两个“大西瓜”

汽车要闻

配备华为全家桶/20秒一键成床 启境GX7预售24.99万起

态度原创

房产
健康
教育
游戏
时尚

房产要闻

TOP10房企卖了350亿!海南楼市,最新榜单出炉!

脑梗取栓成功≠活下来,还有这三关

教育要闻

留学生回国的话,QS真的很重要吗?

境井仁回归 《羊蹄山之魂》单人战斗生存模式详情

夏天上衣不要只穿黑色或白色,试试这几件彩色T恤,亮眼又减龄

无障碍浏览 进入关怀版