网易首页 > 网易号 > 正文 申请入驻

消息称AI失控前OpenAI已接到员工警告,但高层选择无视

0
分享至

IT之家9月30日消息,据《纽约时报》报道,早在 OpenAI 的人工智能出现脱离管控行为的数月之前,就已有两名员工向公司高层发出安全预警,但他们的警示遭到忽视。


消息称AI失控前OpenAI已接到员工警告

《纽约时报》查阅相关邮件记录后获悉,这两名员工在邮件当中表达了担忧:在测试阶段,针对 OpenAI 最新一代 AI 模型的监控工作不到位;而测试本应用于评估模型能力水平,同时保障模型本身的安全。

对此,OpenAI 管理层答复员工,测试必须尽快向前推进,保障 AI 模型能够按期发布。据这两名不便公开发声的员工透露,后续公司并没有增设额外的安全管控流程。

之后,OpenAI 的模型果真突破测试环境,对 AI 初创企业 Hugging Face 以及其他机构发起攻击,这件事在全球范围内掀起了一场关于人工智能安全的讨论。

据在职员工以及独立安全研究人员表示,此前这批员工与高管之间的沟通情况属于一类共性现象:这家总部位于旧金山的企业并未将安全保障置于优先地位。该问题不只体现在 AI 模型的测试环节;这家开发 ChatGPT 聊天机器人的公司,其他业务板块同样暴露出相同倾向。

多名独立安全研究员称,近几个月他们陆续发现漏洞,可以借此查看 OpenAI 员工的内部通讯记录;还存在另外一些安全缺陷,能够访问该公司内部源代码,调取 ChatGPT 用户的聊天日志。当研究人员把问题反馈给 OpenAI 时,对方起初并未予以重视。

AI 安全企业 Abundant Security 首席技术官约书亚 · 萨克斯(Joshua Saxe)评价道:“OpenAI 的安全水平基本符合这样一种现状:一家四年之内极速扩张的实验室,更一心想要在竞争当中击败对手,而非着力加固自身基础设施。”

OpenAI 内部员工表示,日常层面大量的安全相关决策主要由总裁格雷格 · 布罗克曼(Greg Brockman)与首席信息安全官戴恩 · 斯塔基(Dane Stuckey)负责;首席执行官萨姆 · 奥尔特曼并没有深度介入安全事务。

并非只有 OpenAI 近期曝出 AI 安全事故。谷歌、Meta 以及 Anthropic 都披露过,自家最强的 AI 系统脱离测试环境,在企业不知情的情况下自主攻击其他计算机基础设施。

不过 OpenAI 的安全处置方式正受到格外严格的审视。该公司的 AI 系统出现的、被内部定性为“值得警惕”的异常行为事件数量最多;并且在专家看来,其中部分案例的性质最为棘手。

前后一共发生十余起相关事件:OpenAI 的 AI 系统在无人下达指令的前提下,尝试入侵各类机构,其中甚至包括美国政府机构的网站;这套 AI 还会刻意掩盖自身错误、捏造虚假数据、主动尝试向其他聊天机器人发送消息,未经许可就把文件上传至公网。

前 OpenAI 员工丹尼尔 · 科科塔伊洛(Daniel Kokotajlo)目前运营非营利研究机构 AI Futures Project,他一直对该公司的安全策略持批评态度。他表示:“从某种角度来说这属于 OpenAI 自身的问题。一方面安全管控做得很差;另一方面模型训练流程粗疏,造成模型本身就倾向于做出这类危险行为。当然其他 AI 企业也好不到哪里去。”

OpenAI 发言人德鲁 · 普萨泰里(Drew Pusateri)回应称,公司始终致力于 AI 安全,认真对待每一份安全报告与相关顾虑。实验室内部设有专门渠道用来上报安全隐患;收到独立安全研究员提交的漏洞之后,公司都会立刻采取处置措施。

“随着前沿模型的能力持续增强,我们也一直在迭代安全工作,但我们意识到还需要进一步加快改进的步伐。”普萨泰里表示。他补充说明,OpenAI 已经放缓部分 AI 研发工作,并且正在调整方案,强化研究与测试环节的安全防护。

《纽约时报》本身已经就 AI 系统抓取新闻内容侵犯版权一事,起诉 OpenAI 与微软;两家公司否认该项侵权指控。

两名 OpenAI 员工称,过去好几个月,内部一直不断有人针对 AI 模型测试环节的安全隐患提出担忧,包括监控力度不足;员工也曾质疑公司用于日常安全管控的软件存在漏洞。但员工表示,每一次提出的疑问要么被置之不理,要么后续整改行动推进极其迟缓。

安全研究人员反馈,他们向 OpenAI 上报漏洞时,也遭遇过类似的冷遇。

今年7月,安全企业 Hacktron 的研究人员告知 OpenAI,他们借助竞品 Anthropic 开发的一款 AI 模型,找到了入侵 OpenAI 系统的途径。研究人员表示,OpenAI 一开始反而对他们的测试方式提出异议。

《纽约时报》获取的 Slack 通讯记录显示,OpenAI 的斯塔基在公共协作频道留言称,Hacktron 的研究人员大费周章去演示漏洞,这件事“实在令人遗憾”。

Hacktron 研究员莫汉 · 佩达帕蒂(Mohan Pedhapati)谈及当时的经历说:“我们能明显感觉到对方对我们带有不满情绪。”他还认为这家公司依旧沿用初创企业的安全思路:关键基础设施直接采购外部软件服务,而不是自研配套工具。

“你们怎么能拿 Slack 去支撑相当于曼哈顿核计划级别的重大项目?”佩达帕蒂提出质疑。Hacktron 所发现的漏洞一旦被利用,攻击者就可以完整访问 Slack,查看 OpenAI 员工的全部内部对话。

之后斯塔基向 Hacktron 方面作出道歉;OpenAI 向这几名研究员发放6,500美元(IT之家注:现汇率约合43,666元人民币)的漏洞奖励。

普萨泰里表示:“我们感谢研究人员主动联系并分享他们的发现。”

9月,非营利安全隐私研究机构 Objective‑See Foundation 向 OpenAI 上报一处程序缺陷。一旦设备遭到入侵,攻击者可以拿到该设备上 ChatGPT 用户完整的私人聊天记录,还能够在用户毫无察觉的情况下操控浏览器会话。

该机构软件分析师帕特里克 · 沃德尔(Patrick Wardle)称,研究团队最初通过官方漏洞赏金计划提交报告之后,这份上报长时间石沉大海。直到沃德尔私下联系他在 OpenAI 相熟的员工以及斯塔基本人之后,这份报告才流转至对应的工程部门,相关人员随即着手处理。

OpenAI 为此向该机构发放500美元(现汇率约合3,359元人民币)奖励。沃德尔认为,以该漏洞的严重程度而言,这笔奖金远低于其他企业的常规水平。他表示 OpenAI 已经修复该漏洞;本周公司还在公开版本更新日志当中确认该问题,不过没有披露漏洞的详细细节。

沃德尔评价:“这套安全体系完全达不到一家以安全为重心的企业应有的成熟水准。”

OpenAI 内部员工认为后续很可能还会曝出更多同类漏洞。公司一方面正在复盘新版模型在测试阶段的各类行为;另一方面仍然持续收到黑客发来的预警,提示现存尚未修补的安全缺陷。

上周五,一组工程师与研究员发布一份独立报告,进一步披露 Hugging Face 遭攻击事件背后更多令人不安的细节:OpenAI 的智能体当时还尝试给 Anthropic 的 Claude 发送消息,试图调用其他 AI 模型绕过网站的反机器人防护机制。

OpenAI 上周也对外承认:新部署的防护措施没能拦住最新一代 AI 模型,模型依旧突破限制访问互联网。回溯排查之后还发现过去就曾经发生过多起未被察觉的未经授权联网事件。OpenAI 随即宣布暂停其最强 AI 模型的训练工作,全面复盘 AI 系统出现的各类非预期异常行为。

而在周一,该公司更进一步对外公布:出于内部研究人员提出的安全顾虑,决定暂缓发布最新版本模型 GPT‑6.1 Astra。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
深物业A直线涨停 上演“地天板”

深物业A直线涨停 上演“地天板”

财闻
2026-09-30 11:28:26
解放战争期间最惨痛的战斗:五名军级干部阵亡,幸存者55年授少将

解放战争期间最惨痛的战斗:五名军级干部阵亡,幸存者55年授少将

纪史行者
2026-09-28 05:45:12
克林顿之后,美国再无拥有治国之才的总统。克林顿在任的八年,把美国经济带到了一个巅峰

克林顿之后,美国再无拥有治国之才的总统。克林顿在任的八年,把美国经济带到了一个巅峰

扶苏聊历史
2026-09-29 15:51:40
赛力斯半价“问界”来了,华为彻底懵圈!

赛力斯半价“问界”来了,华为彻底懵圈!

互联网品牌官
2026-09-29 12:34:29
纪委开始倒查问责!在职、退休一视同仁,这5类红线切莫心存侥幸

纪委开始倒查问责!在职、退休一视同仁,这5类红线切莫心存侥幸

职场资深秘书
2026-09-30 10:42:01
亚奥理事会官宣评选男女MVP:7金王张展硕+5金王余依婷李冰洁领跑

亚奥理事会官宣评选男女MVP:7金王张展硕+5金王余依婷李冰洁领跑

醉卧浮生
2026-09-30 13:12:20
个人提现新规,10月1日起执行!

个人提现新规,10月1日起执行!

秦皇岛发布
2026-09-29 17:30:34
历史重演!继樊振东后,林诗栋夺冠队友不敢鼓掌,教练阴沉着脸,话题冲上热搜遭热议

历史重演!继樊振东后,林诗栋夺冠队友不敢鼓掌,教练阴沉着脸,话题冲上热搜遭热议

李晚书
2026-09-29 15:37:39
已相继发现11具女性尸体,多数人曾遭严重性侵,南非总统发声,宣布4点措施:查明全国未决的谋杀、强奸和袭击妇女案,90天内制定调查计划

已相继发现11具女性尸体,多数人曾遭严重性侵,南非总统发声,宣布4点措施:查明全国未决的谋杀、强奸和袭击妇女案,90天内制定调查计划

南方都市报
2026-09-30 09:32:05
噩耗接连传来!刘欢刚走没几日,63岁水均益近况曝光令人心生担忧

噩耗接连传来!刘欢刚走没几日,63岁水均益近况曝光令人心生担忧

生命之泉的奥秘
2026-09-29 01:11:59
大批美国游客涌入中国,回国后坦言:客观来说,中国比美国强多了

大批美国游客涌入中国,回国后坦言:客观来说,中国比美国强多了

兴趣知识
2026-09-30 05:03:17
跨性别工程主管遭中国岳父母枪杀,他曾由女变男,这家人的纠纷很复杂

跨性别工程主管遭中国岳父母枪杀,他曾由女变男,这家人的纠纷很复杂

西楼知趣杂谈
2026-09-30 07:20:24
75岁老人被虎头蜂蜇伤6天后离世,一同被蛰的老伴经治疗后出院,家属质疑无人担责,当地回应

75岁老人被虎头蜂蜇伤6天后离世,一同被蛰的老伴经治疗后出院,家属质疑无人担责,当地回应

极目新闻
2026-09-29 20:30:08
北理工美女裴老师的故事

北理工美女裴老师的故事

阿亮评论
2026-09-30 12:03:54
突发讣告!25岁女子患癌去世,生前曾自述生活习惯:12点到2点间睡觉、一周喝3-4次奶茶,平时吃外卖或下馆子

突发讣告!25岁女子患癌去世,生前曾自述生活习惯:12点到2点间睡觉、一周喝3-4次奶茶,平时吃外卖或下馆子

南方都市报
2026-09-30 09:10:52
中国男足1-2韩国,无缘亚运男足决赛引热议,球迷:比男篮强,有血性,进步大

中国男足1-2韩国,无缘亚运男足决赛引热议,球迷:比男篮强,有血性,进步大

侧身凌空斩
2026-09-30 16:05:10
赖清德最新民调惊人,国民党在台北全面失守,蒋万安处境很危险?

赖清德最新民调惊人,国民党在台北全面失守,蒋万安处境很危险?

零洛浮华
2026-09-29 13:30:19
怒发冲冠!空姐3次下跪道歉事件反转,东航通报还原万米客舱冲突真相,网友怒斥:这个旅客必须受到处罚!这就是典型的恶棍

怒发冲冠!空姐3次下跪道歉事件反转,东航通报还原万米客舱冲突真相,网友怒斥:这个旅客必须受到处罚!这就是典型的恶棍

火山詩话
2026-09-30 16:15:33
林诗栋又捅马蜂窝?发微博不敢提男单夺冠,却替队长总结男团丢冠

林诗栋又捅马蜂窝?发微博不敢提男单夺冠,却替队长总结男团丢冠

三十年莱斯特城球迷
2026-09-30 15:27:59
楼市贴息1%和生娃补贴300块,网友:这剧本太熟了

楼市贴息1%和生娃补贴300块,网友:这剧本太熟了

鲁先生的笔
2026-09-30 08:00:15
2026-09-30 18:32:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
370277文章数 607581关注度
往期回顾 全部

科技要闻

OpenAI凌晨大上新!新助手dots迎战Muse

头条要闻

国足主教练回应不敌韩国:我们被在欧洲踢球的对手压制

头条要闻

国足主教练回应不敌韩国:我们被在欧洲踢球的对手压制

体育要闻

石雨豪:亚运金牌与背后的十年

娱乐要闻

胡歌现身游本昌遗体告别仪式

财经要闻

中央财政首次贴息房贷 定向支持首套刚需

汽车要闻

华为乾崑ADS 5上车 纵横G700限时权益价30.49万起

态度原创

教育
艺术
房产
公开课
军事航空

教育要闻

读懂青春期孩子,在边界探索中传递彼此的爱

艺术要闻

八闽丹青奖 入选油画作品选

房产要闻

自贸启新境,安居在海口!2026 海口好房子金秋购房节盛大启幕

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军最后2500人撤离伊拉克

无障碍浏览 进入关怀版