网易首页 > 网易号 > 正文 申请入驻

OpenAI自曝模型失控险情:最强AI曾突破网络封锁,紧急停训11天

0
分享至

IT之家 11 月 19 日消息,OpenAI 今天(11 月 18 日)发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明,首次系统披露研发、内部使用到公开发布阶段,如何在高能力模型的全生命周期中管控风险。

IT之家援引博文介绍,OpenAI 称由于前沿模型的能力正快速增强,因此理解、对齐和保障模型的能力必须“始终领先一步”。公司维持引入“安全案例”流程,要求在训练全程提供更有力的行为对齐证据;这些措施虽会拖慢发布节奏,但会增强安全推进的信心。

OpenAI 强调其保护措施围绕四层展开:


模型对齐:对齐就是让 AI 系统能够可靠地按照我们预期的方式行动。模型必须在尊重政策和更广泛的社会利益的前提下,解读用户的需求。


安全和沙盒:这些控件限制模型能够访问或影响的文件、工具、网络及其他资源。它们有助于遏制培训和评估过程中错误或行为不一致所带来的后果。


保障阻止措施:这些都是额外的防护措施,用于评估用户请求并建模阻止潜在有害或未经授权行为的行为。它们包括安全分类器,有助于防止网络滥用或协助生物武器,以及自动审核功能,可以阻止潜在的未经授权模型操作。


监测与响应:这些系统能检测令人担忧的行为,调查发生了什么,并在必要时进行干预。它们为部署流量提供了可视化,并能提醒我们新兴的风险类型。

文章特别提到今年 7 月的“Hugging Face 事件”。OpenAI 表示,该事件说明不能仅依靠沙盒隔离来约束高能力模型。此后,公司重构了内部研究系统,前沿模型训练环境将不接入实时互联网,并通过受限权限沙盒、虚拟机以及网络与云边界实现多层隔离。

OpenAI 还披露另一件内部模型突破网络安全限制的事件。该事件发生于 9 月 20 日,一个正在接受训练的 AI 研究模型利用 DNS 配置漏洞,成功绕过网络隔离措施,获得有限的互联网访问权限。OpenAI 随后紧急叫停旗下能力最强模型的训练与评估,停训时间长达 11 天。

为加快干预,OpenAI 建立了“控制室”(Control Room)系统:在收到停止指令后,可在 35 秒内停止研究工作负载的后续模型输出;该控制直接部署在推理基础设施中,不依赖各研究任务自行实现关停机制。

在模型进入内部部署后,OpenAI 员工可让其访问更广泛的互联网、Slack、代码库及内部基础设施,风险也随之上升。公司表示,此时将更依赖模型对齐、系统级防护和实时监控,重点防范绕过安全限制、数据外泄及向未授权目的地发送敏感信息等行为。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
丁彦雨航当面向巩晓彬说声道歉,逍遥王称其交友不慎暗讽睢冉

丁彦雨航当面向巩晓彬说声道歉,逍遥王称其交友不慎暗讽睢冉

姜大叔侃球
2026-11-19 22:25:35
手握人民币的国人请注意:咱们的货币,或正被全球资本重新定价

手握人民币的国人请注意:咱们的货币,或正被全球资本重新定价

混沌录
2026-11-19 18:35:05
41岁詹姆斯一战创多项纪录:一数据全联盟第一+率队创42年来最佳

41岁詹姆斯一战创多项纪录:一数据全联盟第一+率队创42年来最佳

Emily说个球
2026-11-19 11:08:21
克宫打算继续将战争持续到冬季,特朗普特使警告这是俄罗斯最后的机会

克宫打算继续将战争持续到冬季,特朗普特使警告这是俄罗斯最后的机会

山河路口
2026-11-19 13:18:45
清朝对中国领土的贡献不可磨灭!没有清朝完成一统,后果不堪设想

清朝对中国领土的贡献不可磨灭!没有清朝完成一统,后果不堪设想

文史道
2024-11-25 06:45:02
39岁北京大腕郝泊言离世,生前热爱健身,这次给所有人提了个醒

39岁北京大腕郝泊言离世,生前热爱健身,这次给所有人提了个醒

阅尽天下大事
2026-11-20 01:02:45
乌克兰于11月19日凌晨再次袭击克里米亚大桥

乌克兰于11月19日凌晨再次袭击克里米亚大桥

山河路口
2026-11-19 09:20:41
凌晨3:00,美联储全面宣战!50基点加息重回视野

凌晨3:00,美联储全面宣战!50基点加息重回视野

魏家东
2026-11-19 17:23:35
笑不活!老外买的中国纪念品,不理解但尊重

笑不活!老外买的中国纪念品,不理解但尊重

另子维爱读史
2026-10-19 21:05:28
曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

人生录
2026-11-19 08:08:31
APEC晚宴菜单曝光,看看都吃了啥

APEC晚宴菜单曝光,看看都吃了啥

极目新闻
2026-11-19 10:23:08
赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

一盅情怀
2026-11-16 16:02:42
21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

LULU生活家
2026-11-19 16:59:58
何家劲痛骂移民老友:卖光香港家当去加拿大,如今哭说回不来,图啥

何家劲痛骂移民老友:卖光香港家当去加拿大,如今哭说回不来,图啥

头号电影院
2026-11-19 16:31:11
欧媒不明白:中国拿下85%造船订单,为何心脏发动机也要自己造

欧媒不明白:中国拿下85%造船订单,为何心脏发动机也要自己造

兴趣知识
2026-11-20 00:53:41
火箭小将终爆发!三分7中6成球队最大功臣 能否彻底找回手感?

火箭小将终爆发!三分7中6成球队最大功臣 能否彻底找回手感?

惊奇侃球
2026-11-19 23:54:50
多地接连辟谣:“建材市场3C大检查”为不实信息

多地接连辟谣:“建材市场3C大检查”为不实信息

澎湃新闻
2026-11-18 21:09:02
脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

暮色史观
2026-11-19 10:24:15
争议!中国女排队员:国外没有瘦肉精 网友:中国食品安全不容抹黑

争议!中国女排队员:国外没有瘦肉精 网友:中国食品安全不容抹黑

念洲
2026-11-19 08:21:57
英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

环球趣闻分享
2026-11-18 14:57:47
2026-11-20 03:12:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380348文章数 607745关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
游戏
旅游
数码
公开课

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

PC Gamer试玩GTA6百小时:双主角出色但任务重复

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版