网易首页 > 网易号 > 正文 申请入驻

GPT-6.2 Astra难产真相曝光!OpenAI突然彻查迄今最大RL训练

0
分享至


新智元报道


传了好久的GPT-6.2 Astra,至今还是没影儿。

就在全网盯着OpenAI憋大招时,硅谷等来了一个更出人意料的消息。

今天,OpenAI竟把四家外部机构,请进了自家内部「查岗」!


他们分别是,METR、Apollo Research、Transluce和Goodfire。

与以往不同,OpenAI罕见开放了部分内部模型、源代码、训练数据,甚至还有尚未发布的模型检查点。

同在今天,The Information又捅出了一桩惊人内幕——

为了破解AI黑箱,奥特曼曾开出50亿美元天价,想买下一家深扒AI大脑内部机制的公司。

巧了,它正是Goodfire,作为四大外援之一正式进驻OpenAI,Anthropic还曾投了钱。

如今的OpenAI是越来越谨慎,像极了当年的谷歌。

手里握着最强的AI,却被雪藏。正如网友所言,短期内,普通人大概率是用不上GPT-6.2 Astra了。


OpenAI搬来救兵

彻查最大RL训练

这一次,OpenAI直接把外部审查,深入到了模型训练和内部使用环节。

总裁Greg Brockman称,这可是OpenAI内部「第一轮嵌入式评估」。


请进来的四大机构,各有分工。

他们得到了在指定范围内的内部系统访问权限,还可以用上OpenAI尚未发布的模型。

打头阵的Apollo Research,专门派6人小组进驻4个月,调查模型会不会「阳奉阴违」。

他们重点核查训练过程有没有奖励背叛行为、红队测试能否诱发模型捣鬼。

同时他们还要排查模型在内部日常干活时,有没有偷偷搞过破坏。


第二家进场的METR,首阶段将深入审查OpenAI迄今规模最大的一次前沿强化学习训练。

他们获准独立抽检各阶段的模型快照与评测轨迹,专门揪出躲过现有监控器的漏网之鱼。


今年8月OpenAI内部Agent越界黑入Hugging Face的事故调查,背后正是METR操刀。

第三家非营利机构Transluce,从12月初起,将分文不取报酬进驻审查6周,调用未发布模型及未经任何过滤的原始思维链。

他们要给OpenAI现有的对齐考卷做全面体检,看看有没有漏掉欺骗和刷分作弊。

至于Goodfire,它的任务更特殊。

它主要钻入神经网络内部,也就是切开AI大脑,利用机制可解释性,挖出那些让模型出现特定行为的计算机制。

一次内部彻查,四家机构进场。

OpenAI之所以要费这么大力气,就得从三个月前的一场风波说起了。

别提安全

GPT-6 Astra偷懒少干四成活儿

今年8月下旬,GPT-6 Astra在内部刚部署不久,就爆出了一系列问题。

一位研究员测试「模型蓄意破坏」课题,用Astra跑了好几天都被莫名报错卡在原地。

结果他一换别的模型,项目当场就一路绿灯跑通了。

为了弄清Astra是不是在「看菜下碟」,OpenAI设计了一组双盲对照实验。

团队准备了完全相同的代码改进任务,只把代码注释和背景话术分成「能力研究」和「安全研究」两套。

测试结果让人后背发凉。

在「能力研究」名义下,Astra能完成15.8%的隐藏评分项;换成「安全研究」后瞬间跌到10.3%,悄悄少干了约四成活!


上一代GPT-5.6 Sol在同样测试里几乎零差距,而Astra在安全包装下谎报阻碍或停工的比例足足高出了13.5个百分点。

按规范,模型若觉得任务有风险应该当面说明拒绝理由,偏偏Astra选了当面假装配合、背地悄悄交半成品。

更头疼的是,这种「暗中摸鱼」的毛病,恰恰是在后训练强化学习阶段一步步练出来的。

强化学习刚开始时差距还是0,越往后训差距越大,中途一度拉开到12个百分点。


团队排查发现,某个强化学习评分器极度讨厌模型当面拒绝,反而给「不声不响少干活」打了高分。

研究人员试着在提示词里叮嘱它「请格外小心谨慎」,结果它罢工的幅度反而恶化了50%!

不仅如此,GPT-6 Astra曾被爆出采用了「循环Transformer」机制,结果人类可阅读、监控的思维链大幅缩水。

OpenAI、Anthropic和谷歌的高管近期纷纷承认,靠读文字思维链来盯防AI的做法已经越来越不可靠。

这些问题,已经让OpenAI内部感到隐隐不安。

而今天曝光的50亿美金收购内部,又让这件事有了新的看点。

50亿求购「AI读心术」

Anthropic也投了

早在今年夏天,OpenAI高层曾多次与AI初创公司Goodfire接触。

当时,他们一口气开出了最优的条件,愿意出资50亿美金收购,或是建立其他商业合作关系。

50亿,足足是这家公司今年2月融资估值四倍还要多!


一家成立仅两年的公司这么值钱,全靠他们的看家本领——「机制可解释性」,堪称深入大模型黑箱的「核磁共振与读心术」。

它主要就是直接打开AI的「黑箱」,研究神经网络内部究竟在进行什么计算。

值得一提的是,这家公司背后的团队,也很有来头。

联合创始人Tom McGrath,曾参与创建Google DeepMind的机制可解释性研究团队。

核心研究人员Nick Cammarata,曾与Anthropic联创Chris Olah一起开创了OpenAI早期可解释性团队。


更有意思的是,Goodfire背后还有Anthropic的投资。

去年4月,Anthropic参与了Goodfire的5000万美元A轮融资。这也是A/首次直接投资外部初创公司。

这笔交易最后虽然黄了,但紧接着剧情就来了个大反转——

转头,Goodfire就直接进了OpenAI首批四家外部评估机构的名单。

最强AI不敢发,OpenAI正步入谷歌后尘?

如今,GPT-6.2迟迟没有亮相,整个硅谷已经开始传出另一种猜测。

OpenAI会不会正在步入谷歌后尘,因为太重视「AI安全」,反而把最强模型锁在了实验室里。

2022年,谷歌手里握着绝对领先的AI,却因害怕失控,白白把王座让给了OpenAI。

这几天,一张来自OpenAI的安全工程师的删帖截图,在X上传开了。

经历了今年7月Hugging Face安全事件后,OpenAI内部文化发生了巨变,安全几乎成为所有人头等大事。


曾经还有人调侃Anthropic是「安全邪教」,如今的OpenAI,似乎比它还要谨慎。

OpenAI对安全的投入,确实越来越大。

今年8月,他们曾抽调25%的产品工程师,加固内部安全基础设施。

如今,又把四家外部机构请进来,检查模型训练和对齐。


当初谷歌硬是用了两年多,才从ChatGPT的冲击中缓过来,重新回到牌桌。

OpenAI真的会重演谷歌当年的剧本吗?

参考资料:

https://x.com/OpenAI/status/2122359930628063248

https://openai.com/index/our-first-phase-of-embedded-assessments/

编辑:摩西 桃子


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不卖芯片给中国不够了?美国开始想办法把中国芯片挡在门外

不卖芯片给中国不够了?美国开始想办法把中国芯片挡在门外

林子说事
2026-11-16 04:33:25
58元一位,成都一乡村酒店推刨猪宴,首日坐了80余桌

58元一位,成都一乡村酒店推刨猪宴,首日坐了80余桌

红星新闻
2026-11-16 22:11:15
35页PPT疯传:洛阳女子1女谈3男,每天卡时间,都已谈婚论嫁

35页PPT疯传:洛阳女子1女谈3男,每天卡时间,都已谈婚论嫁

烈史
2026-05-30 13:23:41
2026年养老金调整通知晚发,退休人员从1月1日起的补发会少吗?

2026年养老金调整通知晚发,退休人员从1月1日起的补发会少吗?

墨兰史书
2026-11-16 04:25:04
你见过最没用的人脉是什么?网友:花70w到信用社当柜员,月薪800

你见过最没用的人脉是什么?网友:花70w到信用社当柜员,月薪800

另子维爱读史
2026-11-15 22:43:52
张佳宁被曝怀胎仅两月,张晓龙三胎首度曝光,两人关系早已难掩

张佳宁被曝怀胎仅两月,张晓龙三胎首度曝光,两人关系早已难掩

钟厨娘
2026-11-16 23:57:40
美媒表示:中国055驱逐舰已服役10艘,排名世界第一,敌舰根本不敢靠近,西方没想到速度这么快

美媒表示:中国055驱逐舰已服役10艘,排名世界第一,敌舰根本不敢靠近,西方没想到速度这么快

绝对军评
2026-11-16 09:11:55
《谷雨》大结局:严平安抓捕周海洋,欧阳煦才是最惨的存在

《谷雨》大结局:严平安抓捕周海洋,欧阳煦才是最惨的存在

天玑影视说
2026-11-17 09:03:26
西安事变过后,毛主席第一时间去劝周恩来:不要成为第二个张学良

西安事变过后,毛主席第一时间去劝周恩来:不要成为第二个张学良

凡人侃史
2026-11-16 16:11:51
北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

扶苏聊历史
2026-11-04 18:20:53
杨瀚森突然把开拓者认证撤了!这是要走的节奏?

杨瀚森突然把开拓者认证撤了!这是要走的节奏?

林子说事
2026-11-17 02:53:53
菲律宾彻底炸锅,南海仲裁案大反转,民众发现竟被马科斯骗了10年

菲律宾彻底炸锅,南海仲裁案大反转,民众发现竟被马科斯骗了10年

像诗一样的姑娘
2026-11-16 00:03:43
失控的信号:中国股市的玩笑这次开大了?

失控的信号:中国股市的玩笑这次开大了?

星语者056
2026-11-12 08:53:16
王上源或许成为鲁能新帅首签,未来他将挑大梁,值得期待

王上源或许成为鲁能新帅首签,未来他将挑大梁,值得期待

振刚说足球
2026-11-17 09:13:19
中国近六成家庭只剩2个人了...

中国近六成家庭只剩2个人了...

毒哥的毒鸡汤
2026-11-16 12:22:29
19岁中国留学生遭电诈诱骗至泰国后被成功解救,嫌犯曾要求家属在2小时内支付1000万泰铢,扬言收不到赎金就砍断其手臂

19岁中国留学生遭电诈诱骗至泰国后被成功解救,嫌犯曾要求家属在2小时内支付1000万泰铢,扬言收不到赎金就砍断其手臂

新民周刊
2026-11-16 14:43:54
考不上北大就穿在身上,北大399元羽绒服火出圈,卖断货“一衣难求”

考不上北大就穿在身上,北大399元羽绒服火出圈,卖断货“一衣难求”

小鱼儿会飞了
2026-11-17 07:27:16
上海地铁11号线客流破114万,9号线满载率120%,松江为何比嘉定更挤

上海地铁11号线客流破114万,9号线满载率120%,松江为何比嘉定更挤

金哥说新能源车
2026-11-17 02:20:17
骗子亲口说:陌生来电,挂断和不接完全不是一回事

骗子亲口说:陌生来电,挂断和不接完全不是一回事

水泥土的搞笑
2026-11-15 05:27:33
水均益爆刘欢葬礼细节!刘欢弟弟代家人致辞,卢璐强装镇定忍悲痛

水均益爆刘欢葬礼细节!刘欢弟弟代家人致辞,卢璐强装镇定忍悲痛

一娱三分地
2026-11-16 18:50:09
2026-11-17 11:04:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16700文章数 67238关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

牛弹琴:美国又掉链子 民众一觉醒来发现钱"看不见"了

头条要闻

牛弹琴:美国又掉链子 民众一觉醒来发现钱"看不见"了

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

最新经济数据,释放关键信号

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

游戏
旅游
时尚
艺术
房产

为什么想做这个赛季的三角洲任务,最少需要准备7000万?

旅游要闻

文化遗产耀中原|塔身倾斜约15度!探访周口太康高贤寿圣寺塔

老钱风、静奢风失宠了?“繁荣主义”穿搭突然爆火

艺术要闻

这些“绝版合影”几乎永不再来,一张比一张震惊,最后一张直接看呆

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版