网易首页 > 网易号 > 正文 申请入驻

奥特曼开掉3人,OpenAI又出大事了!

0
分享至


新智元报道


OpenAI三员大将,同一天被扫地出门!

就在刚刚,外媒爆出猛料,OpenAI以「泄密」为由,开掉了安全团队的三名研究员。

他们全是那篇CoT监控论文的作者,其中两位还是一作。


讽刺的是,OpenAI刚因为新模型GPT-6.1 Astra太会骗人,在DevDay前一天紧急叫停了发布。

现在倒好,AI越学越狡猾,OpenAI却先把能看穿它的人开掉了。


OpenAI大地震

专盯AI脑子的3人一夜出局

事情是这样的。

10月1日上午,X上突然传出风声,OpenAI安全团队的Tomek Korbak、Mikita Balesni和Jasmine Wang一起「离职」了。


大家原本以为,这不过是硅谷又一波正常的人事流动。

结果中午一篇报道出来,「离职」直接变成了「开除」。

官方声明是这样写的——

我们已与三人分道扬镳,原因是他们违反了公司关于获取和处理敏感信息的政策。

调查证实,这些人在公司既定流程之外处理了敏感信息,违反了我们的政策,也破坏了我们工作赖以进行的信任。


很快,外媒又挖出了OpenAI没说的细节。

被指泄露的,有一部分是OpenAI的基础设施架构,也就是它的系统到底是怎么搭起来的。接收方,正是一家专门测试AI模型的外部组织。

三人里,两位是安全研究员,一位是研究项目经理。

其中Korbak,还是Redwood Research和METR调查Hugging Face被黑事件时,OpenAI这边的技术对接人。


「CoT可监控性」核心作者,Hinton、Ilya站台研究

这三个人,都是从外部安全机构走进OpenAI的。

Korbak和Jasmine Wang都在英国AI安全研究所待过,Korbak还在Anthropic干过,Balesni则来自第三方评估机构Apollo Research。

进了OpenAI,他们死磕的就一件事,盯住AI到底在想什么。

推理模型在给出最终答案前,会先写一大段推理草稿,这就是思维链。

思维链监控,就是派另一个模型去偷看这份草稿,看它有没有在背地里盘算作弊、撒谎。


Korbak和Balesni,是《思维链可监控性》论文的前两位作者,Jasmine Wang也在署名之列。

这篇论文的署名横跨OpenAI、Anthropic和谷歌DeepMind,图灵奖得主Bengio也在上面。连OpenAI现任首席科学家Jakub Pachocki,都是作者之一。

论文的核心发现是,模型在草稿里常常会把坏心思直接写出来,比如「我们来黑掉它」「我们来搞点破坏」。

盯住这些草稿,比只看模型最后干了什么,更容易抓到它在使坏。

遇到真正难的任务,比如发起网络攻击、偷偷把自己拷贝出去,模型必须靠思维链一步步推理,想藏都很难藏。

论文把这件事称为「新的、也很脆弱的机会」,因为模型一旦学会用人类读不懂的方式「默想」,这扇窗就关上了。

所以他们呼吁各家前沿实验室,像测能力一样去测思维链还读不读得懂,把结果写进系统卡,再拿它来决定一个模型该不该训、该不该发。


诺奖得主Hinton、OpenAI前首席科学家Ilya Sutskever,都给这篇论文站了台。


可这篇连OpenAI首席科学家都署了名的论文,它的三位作者,如今被OpenAI亲手开掉了。

奥特曼的承诺,保质期只有19天

开掉他们的理由,是把信息递给了外人。

但问题是,明明在19天前,奥特曼还在公开欢迎外人进门查安全。

当时Anthropic CEO Dario Amodei提议,让第三方评估方像员工一样常驻AI公司。

奥特曼当天就在X上火速跟进,承诺「让独立评估方拿到员工级访问权限,OpenAI也会这么做」。


说干就干,仅仅10天后,OpenAI正式官宣,让第三方在模型训练阶段就介入评估,最敏感的工作还可能请外部的人进办公室做。

奥特曼发承诺那天,Korbak还在X上庆幸,自己能公开说出对OpenAI的不满。

谁能想到,到了10月1日,奥特曼的承诺还挂在X上,Korbak的名字已经进了开除名单。


OpenAI的「家丑」,全被外人给扬了

OpenAI对外人这么紧张,倒也不难理解。毕竟它最丢人的几件事,基本都是被外面捅破的。

Agent逃出沙盒、入侵Hugging Face,是Hugging Face自己先发现并公开的。

Agent拿一个荒废多年的德国wiki当留言板交流越狱经验,是外部安全组织Nightingale Collective曝光的,OpenAI几周前就知道,却一直捂着没说。

9月29日,外媒又爆出员工几个月前就警告过监控不够,高管为了赶发布进度,把警告压了下去。


所以就算请外人进门,能看到什么,OpenAI也卡得很紧。

8月METR调查Hugging Face事件时,三名调查员驻场6天,看了约1300份带原始思维链的记录。

可他们没法调用涉事模型,碰不到OpenAI的基础设施,连报告里哪些非公开信息能写,都得OpenAI说了算。

这次被指外泄的信息里,偏偏就有基础设施架构。

在OpenAI给外人开的那扇门里,AI想了什么可以看,OpenAI自己是怎么搭起来的,不能碰。

难怪连在OpenAI待了快9年的前首席未来学家Joshua Achiam都说,第一眼看上去,这就是一记实打实的乌龙球。


RSI最快半年爆发

能「看懂」它的人被捂住了嘴

那次驻场调查的三个人里,有一位叫Ryan Greenblatt,Korbak当时正是他在OpenAI的对接人。

9月27日,Greenblatt宣布加入METR,专门调查AI公司内部到底发生了什么。


在他看来,递归自我改进(RSI),也就是AI自己动手改进自己,最快6个月到1年就可能催生出远超人类的能力,拿到AI公司内部经过核实的信息,已经刻不容缓。

思维链监控,是人类偷看AI在盘算什么最直接的一扇窗。

这扇窗本来就脆弱,现在能读懂草稿的人,跟外面透一句底,饭碗就没了。

新模型Astra在如实汇报这件事上没达标,连OpenAI自己都承认了。

模型到底还对人类瞒了多少事,从今往后,外面的人只会越来越难知道。

通往超级智能的路上,如果只有公司内部的人看得懂AI在想什么,

而这些人往外说一句话就要丢工作,

公众能知道的,就只剩公司想让你知道的那部分。

参考资料:

https://x.com/ns123abc/status/2105719769685217318

https://x.com/andrewcurran_/status/2105696043841253611

编辑:摩西 桃子

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
刚刚,GPT-6 Astra破解拿破仑百年悬案!217年密信曝光,信息量太大了

刚刚,GPT-6 Astra破解拿破仑百年悬案!217年密信曝光,信息量太大了

新智元
2026-10-01 18:16:34
中国香港网球历史首人!头号种子黄泽林2-1逆转 晋级亚运男单决赛

中国香港网球历史首人!头号种子黄泽林2-1逆转 晋级亚运男单决赛

醉卧浮生
2026-10-02 12:06:03
这真是大聪明啊!浙江一车主避开高速充电排队,另辟蹊径发现宝藏补能点,47度电仅花20元

这真是大聪明啊!浙江一车主避开高速充电排队,另辟蹊径发现宝藏补能点,47度电仅花20元

火山詩话
2026-10-02 11:13:51
闹剧终结束!杜伦5年2亿全额保障续约活塞 删除体重条款终签约

闹剧终结束!杜伦5年2亿全额保障续约活塞 删除体重条款终签约

醉卧浮生
2026-10-02 10:38:28
中国队夺得亚运会射箭反曲弓混合团体金牌

中国队夺得亚运会射箭反曲弓混合团体金牌

界面新闻
2026-10-02 12:01:40
细思极恐!无数人每天都在吃的补剂,竟可能伤脑患老年痴呆!

细思极恐!无数人每天都在吃的补剂,竟可能伤脑患老年痴呆!

徐德文科学频道
2026-10-01 15:13:37
名古屋亚运会官方更正,中国金牌数从154枚更正为155枚!

名古屋亚运会官方更正,中国金牌数从154枚更正为155枚!

第五才子
2026-10-02 09:44:44
克洛普主场夺首胜!比朔夫破僵维尔茨破门,德国2-0塞尔维亚

克洛普主场夺首胜!比朔夫破僵维尔茨破门,德国2-0塞尔维亚

钉钉陌上花开
2026-10-02 06:45:42
关晓彤西班牙度假,头秃装嫩土气狂晒脚丫,与助理深夜偷溜去酒吧

关晓彤西班牙度假,头秃装嫩土气狂晒脚丫,与助理深夜偷溜去酒吧

白面书誏
2026-10-01 14:51:49
不止刘国梁恐怕连王励勤都没料到!被众人寄予厚望的孙颖莎,竟然输给了王曼昱

不止刘国梁恐怕连王励勤都没料到!被众人寄予厚望的孙颖莎,竟然输给了王曼昱

最爱乒乓球
2026-10-02 00:05:20
只有我一个人这样看待刘欢之死吗?

只有我一个人这样看待刘欢之死吗?

下岗女神
2026-09-30 21:32:22
节中机票价格“跳水”:部分航线下探至五折,明后两天“低谷”,7号最高

节中机票价格“跳水”:部分航线下探至五折,明后两天“低谷”,7号最高

澎湃新闻
2026-10-02 11:32:28
金秋捷报 礼赞家国 上汽集团前三季度销量继续领跑中国车企

金秋捷报 礼赞家国 上汽集团前三季度销量继续领跑中国车企

汽车网评
2026-10-02 12:28:33
普京称若领土遭袭考虑动用其武器库全部武器

普京称若领土遭袭考虑动用其武器库全部武器

界面新闻
2026-10-02 07:45:43
国庆噩耗!中国情侣澳洲重大车祸!当场双双毙命,刚刚拿到绿卡...

国庆噩耗!中国情侣澳洲重大车祸!当场双双毙命,刚刚拿到绿卡...

澳洲红领巾
2026-10-02 12:09:10
鼓噪“远征海军” 菲律宾又憋什么坏水?

鼓噪“远征海军” 菲律宾又憋什么坏水?

看看新闻Knews
2026-10-01 16:01:11
拒绝向C罗道歉!葡萄牙主帅:有些人地位特殊,但是规则对所有人一样

拒绝向C罗道歉!葡萄牙主帅:有些人地位特殊,但是规则对所有人一样

念洲
2026-10-02 06:59:48
前跳水名将写小说曝光队内霸凌:被扇巴掌被栽赃 只有张家齐不欺负我

前跳水名将写小说曝光队内霸凌:被扇巴掌被栽赃 只有张家齐不欺负我

念洲
2026-10-02 07:59:44
“我是毛主席的儿子,我有证据!”1993年,浙江杭州老人鞠涛声称自己是流落民间的“毛岸龙”

“我是毛主席的儿子,我有证据!”1993年,浙江杭州老人鞠涛声称自己是流落民间的“毛岸龙”

回京历史梦
2026-09-30 18:28:05
胡锡进发微博忘删AI回复“需要我帮你通读核对吗?”,网友:比自己写便宜

胡锡进发微博忘删AI回复“需要我帮你通读核对吗?”,网友:比自己写便宜

可达鸭面面观
2026-10-01 14:43:37
2026-10-02 13:27:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16327文章数 67107关注度
往期回顾 全部

科技要闻

“分手”15天后,华为与赛力斯签约新五年

头条要闻

牛弹琴:普京再提2014年"政变" 称有件事他一直想不通

头条要闻

牛弹琴:普京再提2014年"政变" 称有件事他一直想不通

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

珠宝黑马爆雷,老板全家跑路泰国!

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

旅游
时尚
家居
健康
军事航空

旅游要闻

国庆假期首日湖北A级景区共接待游客158.88万人次

在米兰,用时装唤醒内心的自我

家居要闻

2026建博会(广州) 公装联探展交流活动

刷酸祛痘,为什么有人翻车?

军事要闻

胡塞武装:24小时内沙特空袭也门47次

无障碍浏览 进入关怀版