网易首页 > 网易号 > 正文 申请入驻

OpenAI自曝模型失控险情:最强AI曾突破网络封锁,紧急停训11天

0
分享至

IT之家 11 月 19 日消息,OpenAI 今天(11 月 18 日)发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明,首次系统披露研发、内部使用到公开发布阶段,如何在高能力模型的全生命周期中管控风险。

IT之家援引博文介绍,OpenAI 称由于前沿模型的能力正快速增强,因此理解、对齐和保障模型的能力必须“始终领先一步”。公司维持引入“安全案例”流程,要求在训练全程提供更有力的行为对齐证据;这些措施虽会拖慢发布节奏,但会增强安全推进的信心。

OpenAI 强调其保护措施围绕四层展开:


模型对齐:对齐就是让 AI 系统能够可靠地按照我们预期的方式行动。模型必须在尊重政策和更广泛的社会利益的前提下,解读用户的需求。


安全和沙盒:这些控件限制模型能够访问或影响的文件、工具、网络及其他资源。它们有助于遏制培训和评估过程中错误或行为不一致所带来的后果。


保障阻止措施:这些都是额外的防护措施,用于评估用户请求并建模阻止潜在有害或未经授权行为的行为。它们包括安全分类器,有助于防止网络滥用或协助生物武器,以及自动审核功能,可以阻止潜在的未经授权模型操作。


监测与响应:这些系统能检测令人担忧的行为,调查发生了什么,并在必要时进行干预。它们为部署流量提供了可视化,并能提醒我们新兴的风险类型。

文章特别提到今年 7 月的“Hugging Face 事件”。OpenAI 表示,该事件说明不能仅依靠沙盒隔离来约束高能力模型。此后,公司重构了内部研究系统,前沿模型训练环境将不接入实时互联网,并通过受限权限沙盒、虚拟机以及网络与云边界实现多层隔离。

OpenAI 还披露另一件内部模型突破网络安全限制的事件。该事件发生于 9 月 20 日,一个正在接受训练的 AI 研究模型利用 DNS 配置漏洞,成功绕过网络隔离措施,获得有限的互联网访问权限。OpenAI 随后紧急叫停旗下能力最强模型的训练与评估,停训时间长达 11 天。

为加快干预,OpenAI 建立了“控制室”(Control Room)系统:在收到停止指令后,可在 35 秒内停止研究工作负载的后续模型输出;该控制直接部署在推理基础设施中,不依赖各研究任务自行实现关停机制。

在模型进入内部部署后,OpenAI 员工可让其访问更广泛的互联网、Slack、代码库及内部基础设施,风险也随之上升。公司表示,此时将更依赖模型对齐、系统级防护和实时监控,重点防范绕过安全限制、数据外泄及向未授权目的地发送敏感信息等行为。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
《三星堆》亏损超1000万,博纳于冬不服气,又推出一部同类型影片了

《三星堆》亏损超1000万,博纳于冬不服气,又推出一部同类型影片了

电影票房预告片
2026-11-18 23:53:08
签了!中国和美国真签了!这次不是关税,也不是芯片,而是天然气

签了!中国和美国真签了!这次不是关税,也不是芯片,而是天然气

大卫聊科技
2026-09-20 13:27:56
性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

黯泉
2026-11-09 17:39:59
特朗普公开表示:此次中国之行机场欢迎仪式场面盛大又美丽,展现出了极大的尊重,我对此心怀感激

特朗普公开表示:此次中国之行机场欢迎仪式场面盛大又美丽,展现出了极大的尊重,我对此心怀感激

吉刻新闻
2026-11-19 10:41:59
黄仁勋想回英伟达被打脸,与黄乐早期私密视频曝光

黄仁勋想回英伟达被打脸,与黄乐早期私密视频曝光

壹月情感
2026-11-18 13:49:29
县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

秋风专栏
2025-04-15 17:16:42
失控的信号:中国股市的玩笑这次开大了?

失控的信号:中国股市的玩笑这次开大了?

星语者056
2026-11-12 08:53:16
宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

扶苏聊历史
2026-11-12 18:31:31
杭州湾跨海大桥收支:运营18年,投资138亿,如今回本了吗?

杭州湾跨海大桥收支:运营18年,投资138亿,如今回本了吗?

新一说史
2026-11-04 11:51:47
实话实说,这就是赤裸裸的现实!中国石油可能已经出现大问题?

实话实说,这就是赤裸裸的现实!中国石油可能已经出现大问题?

坠入二次元的海洋
2026-11-19 07:05:30
96岁巴菲特自曝长寿秘诀:48 年不喝白开水,发誓终生不吃日本料理

96岁巴菲特自曝长寿秘诀:48 年不喝白开水,发誓终生不吃日本料理

牛锅巴小钒
2026-11-19 10:35:24
匈牙利学者吐槽中国车企:连颗螺丝钉都是从中国带来的,都不让欧洲人造,本地只做低端

匈牙利学者吐槽中国车企:连颗螺丝钉都是从中国带来的,都不让欧洲人造,本地只做低端

王新喜
2026-11-19 12:46:46
彻底收回!中国关停印度全部签证外包中心,使馆直管严查,印度商界彻底慌了

彻底收回!中国关停印度全部签证外包中心,使馆直管严查,印度商界彻底慌了

魔都姐姐杂谈
2026-11-18 13:09:03
基辅遭反噬!炸完大桥拿450亿,俄反手打瘫能源,这买卖得不偿失

基辅遭反噬!炸完大桥拿450亿,俄反手打瘫能源,这买卖得不偿失

冷夜说
2026-11-19 18:14:34
日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

磊子讲史
2026-11-11 17:22:17
54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?

54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?

影孖看世界
2026-11-19 23:36:48
车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

触摸史迹
2026-11-17 09:20:45
孔蒂揭秘离开国米原因,张康阳曾要求卖掉几乎所有球员

孔蒂揭秘离开国米原因,张康阳曾要求卖掉几乎所有球员

懂球帝
2026-11-19 21:42:55
曝开拓者惊天清洗计划!诺里携卡尔森打包走人,只为给杨瀚森让位

曝开拓者惊天清洗计划!诺里携卡尔森打包走人,只为给杨瀚森让位

生活新鲜市
2026-11-20 00:50:34
“骑行30分钟收费15元”,哈啰被网友吐槽“单车刺客”,公司回应:是新车型,可变速,收费标准与普通单车不同

“骑行30分钟收费15元”,哈啰被网友吐槽“单车刺客”,公司回应:是新车型,可变速,收费标准与普通单车不同

南方都市报
2026-11-19 08:30:07
2026-11-20 03:28:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380348文章数 607745关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

旅游
本地
数码
家居
公开课

旅游要闻

深圳游客打卡山城!重庆文旅集团秋假专属礼包获好评,大家感叹不虚此行

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

联想Legion Go Beam掌机谍照曝光:取消标志性触控板 改用16:9屏幕

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版